hadoop最简伪分布式安装
本次安装运行过程使用的是Ubuntu16.04 64位+Hadoop2.5.2+jdk1.7.0_75
Notice：
Hadoop2.5.2版本默认只支持64位系统
使用的jdk可以为1.7和1.8版本的
安装过程：
1. 下载安装jdk1.7.0_75
jourluohua@jourluohua-m:~/tools$ tar -xzvf jdk-7u75-linux-x64.tar.gz
2. 设置PATH等环境变量
jourluohua@jourluohua-m:~/tools$ sudo vi /etc/profile
在该文件下添加如下信息：
#set java environment
JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
添加完成后，使环境变量生效
jourluohua@jourluohua-m:~/tools$ source /etc/profile
使用命令查看是否安装成功jdk
jourluohua@jourluohua-m:~/tools$ java –version
3. 下载安装hadoop-2.5.2.tar.gz
jourluohua@jourluohua-m:~/tools$ tar -xzvf hadoop-2.5.2.tar.gz
jourluohua@jourluohua-m:~/tools$ cd ./hadoop-2.5.2/
Notice:之后所有的运行操作都是在这个目录下完成的
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$
4. 格式化文件系统:
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop namenode -format
5. 修改配置文件：
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ vi ./etc/hadoop/hadoop-env.sh
将export JAVA_HOME修改成(相对路径会报错)
export JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75
6. 确保你的sshd服务已经启动：
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sudo /etc/init.d/ssh start
在这一步之后可以gen-key，作为一个安全通信协议（ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式），使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥，但是该步骤不是必须的，可以多输入几次密码，因此，没有添加到该教程中。
6.5 gen-key
切换到~目录
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cd ~
生成key
jourluohua@jourluohua-m:~$ ssh-keygen -t rsa
输入密码确认
切换到默认生成的ssh文件夹下
jourluohua@jourluohua-m:~/$ cd ./.ssh
生成相应的authorized文件
jourluohua@jourluohua-m:~/.ssh$ cp id_rsa.pub authorized_keys
切换回Hadoop目录
7. 开启dfs进程：
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sbin/start-dfs.sh
这一步后，可以看到几个进程已经启动，如果出现connection refused错误，请回到第六步
8. 创建输入文件夹
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ mkdir input
9. 创建输入文件(这里将conf文件作为输入)：
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cp ./etc/hadoop/* ./input/
10. 运行官方的测试例子WordCount程序，并将结果保存到output中：
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output
11. 查看运行结果
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cat output/*
