CentOS安装配置Hadoop 1.2.1(伪分布模式)
CentOS安装配置Hadoop1.2.1
1.下载安装文件
下载2个安装文件
JAVA环境:jdk-6u21-linux-i586.bin
Hadoop环境:hadoop-1.2.1.tar.gz
这里是把jdk安装在/root下,hadoop安装在/etc下面
2.安装jdk
这里jdk-6u21-linux-i586.bin放在/root下
添加执行权限,并解包。
[root@master ~]# cd /root
[root@master root]# chmod 777 jdk-6u21-linux-i586.bin
[root@master root]# ./ jdk-6u21-linux-i586.bin
接着
2)添加环境变量配置(这里连带hadoop的环境变量一起先设好)
[root@master~]# vi /etc/profile (命令行方式较麻烦)
在/etc/profile文件最后加入以下代码,可以直接用文本编辑器打开profile
请注意自己实际的安装路径和名称
exportJAVA_HOME=/root/jdk1.6.0_21
export JRE_HOME=/root/jdk1.6.0_21/jre
export HADOOP_HOME=/etc/hadoop-1.2.1
exportHADOOP_HOME_WARN_SUPPRESS=1
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
让配置生效:[root@master ~]# source/etc/profile
可以输入下面命令测试下Java环境是否成功
[root@master ~]#java –version
2.1 设置/etc/hosts文件以及/etc/sysconfig/network
进入终端
[root@master ~]# hostname
查看hostname是否为network中的值,如果不是
修改hostname的值
[root@master ~]# hostname master
3 给VM虚拟机建立SSH无密码登录
使用ssh服务,首先得确保机器已经完整安装,否则可能出现port 22 refused
之类的情况,当然出现这种情况也可能是防火墙的原因
搜索并安装(一般是装好的,可以不用)
[root@master ~]#yum search openssh*
[root@master ~]#yum install openssh*
生成签名文件
[root@master~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@master~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[root@master~]# service iptables stop
测试本地SSH无密码登录
[root@centos1~]# ssh master
4、Hadoop安装
文件包hadoop-1.2.1.tar.gz放在etc下面
[root@master ~]# cd /etc
解包并安装
[root@master etc]# tar -zvxf hadoop-1.2.1.tar.gz
4.1 Hadoop测试
把hadoop下bin下的hadoop拷贝到根目录/bin下,根目录下可测试hadoop
[root@master ~]#hadoopversion
可以看到hadoop版本信息,若有错误,说明安装过程出现了问题
5、Hadoop配置
配置hadoop安装路径在/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。
[root@master conf]# vicore-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadooptmp</value>
</property>
[root@master conf]# vihdfs-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadooptmp</value>
</property>
[root@master conf]# vi mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/local/hadoop/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/tmp/hadoop/mapred/system</value>
</property>
继续修改一些配置文件
[root@master ~]# vi ~/.bashrc
输入i进入insert模式,移动光标到最后一行,粘贴以下代码(得根据具体的文件名和路径进行修改)
export JAVA_HOME=/root/jdk1.6.0_21
export JRE_HOME=/root/jdk1.6.0_21/jre
export HADOOP_HOME=/etc/hadoop-1.2.1
export HADOOP_DEV_HOME=/etc/hadoop-1.2.1
export HADOOP_COMMON_HOME=/etc/hadoop-1.2.1
export HADOOP_HDFS_HOME=/etc/hadoop-1.2.1
export HADOOP_CONF_DIR=/etc/hadoop-1.2.1/conf
按下esc并输入:wq
[root@centos1 conf]# vi hadoop-env.sh
打开hadoop下conf文件直接文本编辑加入以下代码更快
export JAVA_HOME=/root/jdk1.6.0_21
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_CLASSPATH=/etc/hadoop-1.2.1:/etc/hadoop-1.2.1/lib
6、配置节点
可以直接用文本编辑器打开那个文件,以下可以直接加入以下代码,
[root@master conf]# vi masters(命令行方式)
127.0.0.1
[root@master conf]# vi slaves (命令行方式)
127.0.0.1
7、SSH登录测试
[root@master ~]# ping master
Ctrl+shift+c终止
[root@master ~]# ssh master
*注意:service iptables stop 每次启动要执行。
每台机器都要能通。
8、运行Hadoop
8、首先执行格式化
先关闭防火墙
[root@masterhadoop-1.2.1]# service iptables stop
再格式化
[root@master hadoop-1.2.1]# hadoop namenode–format
每次修改xml配置文件都要格式化。格式化过程仔细查看日志
这里注意查看格式化的时候当中一行的信息是否是host=master/127.0.0.1
如果不是那可能将造成:运行wordcount示例时候:
卡在 map 100% reduce 0% 那里不动。
出现这个问题主要是hostname不一致的原因
9、启动hadoop
[root@centos1 hadoop-1.1.1]# start-all.sh
如果出现以下错误
则分别尝试在bin下和hadoop根目录下运行
并尝试service iptables stop后再次开启
10、查看进程
使用jps指令,主机进程,4个。
[root@master hadoop-1.2.1]# jps
4001 Jps
3642 NameNode
3899 JobTracker
3805 SecondaryNameNode
[root@master conf]# jps
3793 Jps
3621 DataNode
3722 TaskTracker
11、查看集群状态
[root@master hadoop-1.1.1]# hadoop dfsadmin -report
这里有一个数据节点,可以看到上面是有大小的,如果为0说明一开始hadoop启动失败
注意:如果报错“INFOipc.Client: Retrying connect to server”,是因为core-site.xml失效的原因。停止,重启hadoop后,格式化namenode即可。
另外,每次启动VM都要关闭防火墙。
12、列出HDFS文件系统中存在的目录情况
[root@redhat1 conf]# hadoopfs -ls
显示结果:ls: Cannot access .: No such file or directory.
这是这个目录为空所致。
可以改为执行 hadoop fs -ls /
可以看到有一条空结果。
执行hadoop fs -mkdir hello
其中hello为文件夹名字,再执行hadoop fs -ls命令,即可看到结果。
13、测试一下DFS操作
[root@centos1hadoop-1.2.1]# hadoop dfs -mkdir input
[root@centos1hadoop-1.2.1]# hadoop dfs -ls
Found 1 items
drwxr-xr-x - root supergroup 02013-01-19 23:24 /user/root/input
14、测试下HDFS文件系统Web浏览器监视
HDFS文件系统状态NameNode,http://master:50070/
15、运行Hadoop自带框架的wordcount示例
15.1、建立数据源文件
/root/test建立2个文本文件,在这两个文本文件输入你想输入的单词
这里随便输入
15.2、发布数据文件至hadoop集群
1、在hdfs中建立一个input目录
[root@master hadoop-1.2.1]#hadoop dfs -mkdir input
2. 将/root/test的文本文件上传到刚建立的input文件夹下
[root@master hadoop-1.2.1]#hadoop dfs –put /root/test/* input
3、执行wordcount程序
执行wordcount程序,并确保hdfs上没有output目录,如果已经有,便会有如下问题:
output目录则执行[root@masterroot]# hadoop fs -rmr putput
[root@master hadoop-1.2.1]#hadoop jar hadoop-examples-1.2.1.jar wordcount input output
14/09/24 17:37:39 INFO input.FileInputFormat: Total input pathsto process : 4
14/09/24 17:37:39 INFO util.NativeCodeLoader: Loaded thenative-hadoop library
14/09/24 17:37:39 WARN snappy.LoadSnappy: Snappy native librarynot loaded
14/09/24 17:37:39 INFO mapred.JobClient: Running job:job_201409241734_0002
14/09/24 17:37:41 INFO mapred.JobClient: map 0% reduce 0%
14/09/24 17:37:54 INFO mapred.JobClient: map 50% reduce 0%
14/09/24 17:37:59 INFO mapred.JobClient: map 75% reduce 0%
14/09/24 17:38:00 INFO mapred.JobClient: map 100% reduce 0%
14/09/24 17:38:05 INFO mapred.JobClient: map 100% reduce 100%
14/09/24 17:38:06 INFO mapred.JobClient: Job complete:job_201409241734_0002
14/09/24 17:38:06 INFO mapred.JobClient: Counters: 29
14/09/24 17:38:06 INFO mapred.JobClient: Job Counters
14/09/24 17:38:06 INFO mapred.JobClient: Launched reduce tasks=1
14/09/24 17:38:06 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=33257
14/09/24 17:38:06 INFO mapred.JobClient: Total time spent by all reduces waitingafter reserving slots (ms)=0
14/09/24 17:38:06 INFO mapred.JobClient: Total time spent by all maps waiting afterreserving slots (ms)=0
14/09/24 17:38:06 INFO mapred.JobClient: Launched map tasks=4
14/09/24 17:38:06 INFO mapred.JobClient: Data-local map tasks=2
14/09/24 17:38:06 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=11496
14/09/24 17:38:06 INFO mapred.JobClient: File Output Format Counters
14/09/24 17:38:06 INFO mapred.JobClient: Bytes Written=27
14/09/24 17:38:06 INFO mapred.JobClient: FileSystemCounters
14/09/24 17:38:06 INFO mapred.JobClient: FILE_BYTES_READ=57
14/09/24 17:38:06 INFO mapred.JobClient: HDFS_BYTES_READ=442
14/09/24 17:38:06 INFO mapred.JobClient: FILE_BYTES_WRITTEN=274717
14/09/24 17:38:06 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=27
14/09/24 17:38:06 INFO mapred.JobClient: File Input Format Counters
14/09/24 17:38:06 INFO mapred.JobClient: Bytes Read=28
14/09/24 17:38:06 INFO mapred.JobClient: Map-Reduce Framework
14/09/24 17:38:06 INFO mapred.JobClient: Map output materialized bytes=75
14/09/24 17:38:06 INFO mapred.JobClient: Map input records=2
14/09/24 17:38:06 INFO mapred.JobClient: Reduce shuffle bytes=75
14/09/24 17:38:06 INFO mapred.JobClient: Spilled Records=8
14/09/24 17:38:06 INFO mapred.JobClient: Map output bytes=43
14/09/24 17:38:06 INFO mapred.JobClient: CPU time spent (ms)=6560
14/09/24 17:38:06 INFO mapred.JobClient: Total committed heap usage(bytes)=569655296
14/09/24 17:38:06 INFO mapred.JobClient: Combine input records=4
14/09/24 17:38:06 INFO mapred.JobClient: SPLIT_RAW_BYTES=414
14/09/24 17:38:06 INFO mapred.JobClient: Reduce input records=4
14/09/24 17:38:06 INFO mapred.JobClient: Reduce input groups=3
14/09/24 17:38:06 INFO mapred.JobClient: Combine output records=4
14/09/24 17:38:06 INFO mapred.JobClient: Physical memory (bytes) snapshot=617246720
14/09/24 17:38:06 INFO mapred.JobClient: Reduce output records=3
14/09/24 17:38:06 INFO mapred.JobClient: Virtual memory (bytes) snapshot=1871646720
14/09/24 17:38:06 INFO mapred.JobClient: Map output records=4
[root@centos1 hadoop-1.1.1]#hadoop dfs -cat output/part-r-00000
[root@master hadoop-1.2.1]# hadoop dfs -cat output/part-r-00000
guangzhou 1
hello 2
java 1