Hadoop伪分布式模式 配置
环境：ubuntu 8.04.4 Hadoop1.0.2
参考师兄的博客：http://www.cnblogs.com/guoyuanwei/archive/2011/10/17/2215769.html
快速入门：http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html
1、安装软件
sudo apt-get install ssh
sudo apt-get install rsync
2、到hadoop-1.0.2文件夹下，找到conf文件夹，修改配置文件：
a)修改conf/core-site.xml：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
b)修改conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
c)修改conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/gqy/hadoop</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/gqy/hadoop/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/gqy/hadoop/name</value>
</property>
3、测试主机名
命令：hostname
查看主机名是否为localhost，如果不是请修改/etc/hostname文件内容为localhost。
hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名是localhost，然后在/etc/hosts文件中进行映射，所以要看看/etc/hosts文件中的内容localhost对应的ip地址所否为本机
4、切换到root用户
sudo -s -H
5、配置ssh,使得本机ssh登录本机无密码
命令：ssh-keygen -t rsa
一直按enter，就会按默认的选项将生成的密钥对保存在.ssh/id_rsa文件中
再执行以下命令
cd /root/
cp .ssh/id_rsa.pub authorized_keys
然后执行
ssh localhost，可以实现用ssh连接并且不需要密码连接
如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试成功后，即连接无需输入密码。然后退出测试：
输入命令： exit
6、执行
格式化hadoop系统并启动
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format
启动Hadoop守护进程：
bin/start-all.sh
终端显示信息：
starting namenode, logging to /usr/local/hadoop-1.0.2/libexec/../logs/hadoop-root-namenode-localhost.out
localhost: starting datanode, logging to /usr/local/hadoop-1.0.2/libexec/../logs/hadoop-root-datanode-localhost.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop-1.0.2/libexec/../logs/hadoop-root-secondarynamenode-localhost.out
starting jobtracker, logging to /usr/local/hadoop-1.0.2/libexec/../logs/hadoop-root-jobtracker-localhost.out
localhost: starting tasktracker, logging to /usr/local/hadoop-1.0.2/libexec/../logs/hadoop-root-tasktracker-localhost.out
注：执行第6步之前，可另开1个终端，查看正在运行的进程
ps -aux
执行第6步之后，会新增加5个进程。同时在/home/gqy/hadoop目录下会增加dfs目录
为了使用的方便，可以把bin/hadoop加入环境变量：
sudo gedit /etc/profile
export HADOOP_HOME = /usr/local/hadoop-1.0.2
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
输入完成后，再终端输入
source /etc/profile 让环境变量立即生效
OK！配置成功！～
使用Hadoop：
统计单词：
#pwd
/usr/local/hadoop-1.0.2
a、首先将本地文件系统上的 test-in 目录拷到 HDFS上(/user/gqy/)，目录名改为 input.
上传命令： hadoop dfs -put test-in/ input
由于input是在HDFS文件系统中，所以在linux中，我们看不到，但可通过命令查看：
hadoop dfs -ls
输出结果为：
Found 1 items
drwxr-xr-x - gqy supergroup 0 2012-04-18 14:37 /user/gqy/input
b、执行统计运算：
hadoop jar hadoop-examples-1.0.2.jar wordcount input output
查看执行结果（将文件从 HDFS 拷到本地文件系统中再查看）：
hadoop dfs -get output output
cat output/*
输出显示结果如下：
cat: output/_logs: Is a directory
bye 1
goodbye 1
hadoop 2
hello 2
world 2
