Hadoop1.9安装配置

在rhel5安装hadoop1.9

一、 JDK的安装配置，使用的是JDK1.6（jdk-6u16-linux-i586.bin）

1. 把jdk1.6的安装文件放在/usr/local/目录中

　　设置执行权限chmod u+x jdk-6u16-linux-i586.bin

　　执行bin文件 ./jdk-6u16-linux-i586.bin

2、配置环境变量（/etc/profile）

　　JAVA_HOME=/usr/local/jdk1.6.0_16

　　export JAVA_HOME

　　PATH=$JAVA_HOME/bin:$PATH

　　export JAVA_HOME PATH

3、执行命令让环境变量生效 source /etc/profile

二、 安装hadoop1.9

Hadoop安装在/home目录下

1、解压缩安装文件 tar zxvf hadoop-0.19.2.tar.gz

2、修改配置文件（conf/hadoop-env.sh）

　　设置JAVA_HOME环境变量

3. 修改配置文（conf/hadoop-site.xml）

<property>

    <name>fs.default.name</name>

    <value>hdfs://127.0.0.1:9000</value>

  </property>

  <property>

    <name>mapred.job.tracker</name>

    <value> hdfs: //127.0.0.1:9001</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

4、设置密钥

　　执行下面两个命令

　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5、格式化分布式文件系统

　　进入hadoop的安装目录

　　执行命令：bin/hadoop namenode –format

6、启动 hadoop 进程

　　进入hadoop的安装目录，执行命令：bin/start-all.sh

　　控制台上的输出信息应该显示启动了 namenode, datanode, secondary namenode, jobtracker, 　　　　　tasktracker。启动完成之后，通过 ps –ef 应该可以看到启动了5个新的 java 进程

7、运行 wordcount 程序

　　mkdir input

　　echo “aaa aaa bb bbb bb cc ccc” > file.txt

　　cd ..

　　bin/hadoop dfs -put ./input input

 

　　执行hadoop程序：bin/hadoop jar hadoop-0.19.2-examples.jar wordcount input output

 

8、#查看执行结果:

　　将文件从 HDFS 拷到本地文件系统中再查看： 

　　bin/hadoop dfs -get output output 

　　cat output/*

　　也可以直接查看 

　　bin/hadoop dfs -cat output/*

　　bin/stop-all.sh #停止hadoop进程