Hadoop安装简易手记

公司都开始打上2.0标签了,开始转型乘上互联网的船了,虽然有点晚,但总比当奥特曼强。也开始灌输我们要学Hadoop、Android、IOS了。

虽然咱每天工单多项目紧,咱也要紧跟步伐学起来,万一那天拖后腿被抛弃了呢?咱还得养一大家子呢。

公司提供了一个《Hadoop深入浅出高清视频课程》课程,不得不吐槽公司的在线学习平台做得有够差,课程列表排序乱七八糟,没有课程相关的资料软件,视频还是链到土豆的。在线看了几课后,发现讲师的主页(吴超沉思录),这下视频工具都有的下了 (猛戳下载)。这下爽歪歪了。

废话不多少。Hadoop安装手记如下,详细观看语速极快讲解细致方言口音的老师视频。

安装虚拟机和小红帽后
1.host_only方式 ip 配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改内容如下
IPADDR=192.168.80.100
PREFIX=24
GATEWAY=192.168.80.1
service network restart

2.修改主机名 hostname
vi /etc/sysconfig/network
修改内容如下
HOSTNAME=hadoop

3.hosts
vi /etc/hosts
修改内容如下
192.168.80.100 hadoop

4.关闭防火墙
service iptables status
service iptables stop

5.关闭防火墙自动允许
chkconfig --list | grep iptables
chkconfig iptables off

6.SSH免密码登录
ssh-keygen -t rsa
cd ~/.ssh
cp id_rsa.pub authorized_keys
ssh localhost

7.安装jdk
cd /usr/local
chomd +x jdk-6u24-linux-i586.bin
./jdk-6u24-linux-i586.bin
vi /etc/profile
修改内容如下
export JAVA_HOME=/usr/local/jdk1.6.0_24
export PATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile

8.安装Hadoop
tar -zxvf hadoop-1.1.2.tar.gz
vi /etc/profile
修改内容如下
export HADOOP_HOME=/usr/local/hadoop-1.1.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

9.修改配置文件
conf/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.6.0_24

core-site.xml
将《》用<>替换
《configuration》
    《property》
        《name》fs.default.name《/name》
        《value》hdfs://hadoop:9000《/value》
    《/property》
    《property》
        《name》hadoop.tmp.dir《/name》
        《value》/usr/local/hadoop-1.1.2/tmp《/value》
    《/property》  
《/configuration》

hdfs-site.xml
《configuration》
    《property》
        《name》dfs.replication《/name》
        《value》1《/value》
    《/property》
    《property》
        《name》dfs.permissions《/name》
        《value》false《/value》
    《/property》
《/configuration》

mapred-site.xml
《configuration》
    《property》
        《name》mapred.job.tracker《/name》
        《value》hadoop:9001《/value》
    《/property》
《/configuration》

10.格式化文件系统
hadoop namenode -format

11.启动Hadoop
start-all.sh
查看进程
Jps
5346 TaskTracker
5497 Jps
5170 SecondaryNameNode
4958 NameNode
5063 DataNode
查看WEB
http://hadoop:50070 NameNode
http://hadoop:50030 JobTracker

12.去除警告
vi /etc/profile
修改内容如下
export HADOOP_HOME_WARN_SUPPRESS=1

posted @ 2014-05-07 23:26  vanuan  阅读(164)  评论(0编辑  收藏  举报