Hadoop安装笔记
1 修改主机名
修改/etc/hosts文件，按下面的格式添加：
Id 主机名
2 创建/home/hadoop目录
在所有节点上创建/home/hadoop目录:
mkdir -p /home/hadoop1 修改主机名<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
3 创建用户和密码
在所有节点上创建用户并设置密码：
useradd -d /home/hadoop/XXX -s /bin/bash XXX –m
passwd XXX
4 XXX用户ssh免密码登陆
XXX用户生成.ssh文件，在一个节点上设置好XXX用户ssh免密码访问。
cd /home/hadoop/XXX
su XXX
#生成id_rsa.pub文件
ssh-keygen -t rsa
#这里要注意，执行完命令后要选择生成文件所放的位置，按回车即选择默认即可。
[qunzhihe@localhost ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/XXX/.ssh/id_rsa):
Created directory '/home/hadoop/XXX/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/XXX/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/XXX/.ssh/id_rsa.pub.
The key fingerprint is:
23:a8:36:c7:c3:89:1a:f9:97:00:88:36:73:d6:5a:0bXXX@localhost
The key's randomart image is:
+--[ RSA 2048]----+
| |
| |
|o . |
|++ E + |
|..= = o S |
| ..* o . . |
|o =.*. |
| = oo. |
|. .. |
+-----------------+
#把公钥追加到此文件
cat id_rsa.pub > authorized_keys
chmod 600 /home/hadoop/XXX/.ssh/authorized_keys
chmod 700 /home/hadoop/XXX/.ssh
#修改sshd_config文件
vim /etc/ssh/sshd_config
RSAAuthentication yes
（进去后发现已经是yes，就没有改。）
拷贝到其他所有节点：
scp -rp /home/hadoop/XXX/.ssh hostname:/home/hadoop/XXX/
scp -p /etc/ssh/sshd_config hostname:/etc/ssh/sshd_config
在其他所有节点上执行，设定XXX的用户名，组：
chown -R XXX.XXX /home/hadoop/XXX/.ssh
在其他所有节点上执行：
service sshd restart
5 目录授权
在所有节点上创建子目录/data1/
将/data1目录的owner改为XXX，对其有读写权限
所有节点启动nfs服务，命令为
service nfs start
注意从这里开始，再也不要使用root账户了，下面都使用XXX账户
1. Hadoopmaster上的部署
将hadoop打包解压到/data1/hadoop-<?xml:namespace prefix = st1 ns = "urn:schemas-microsoft-com:office:smarttags" /><?xml:namespace prefix = st1 />
创建/data1/tmp/local、/data1/tmp/namesecondary目录
修改masters、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、hadoop-env.sh文件
scp mastersXXX@192.168.X.X：/data1/hadoop-0.21.0/conf/
.
.
.
*.修改的时候最好是在linux环境下修改。因为windows和linux下的编码不同。
修改.bashrc文件
HADOOP_HOME=/data1/hadoop-0.21.0
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME
export PATH
然后记得source一下。
格式化命名空间：hadoop namenode -format
start-all.sh
查看一下：hadoop fs -ls
