hadoop学习笔记411
安装hadoop
1. 免秘钥
使用hadoop用户
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
cat id_rsa.pub>>authorized_keys
使用ssh测试，如果失败：
情况1： authorized_keys 权限过高：
chmod 600 authorized_keys
情况2： sshd_config
2. 安装hadoop
tar -zxvf hadoop-1.2.1.tar.gz
配置hadoop
$HADOOP_HOME/conf
1. 修改core-site.xml
a.配置Namenode主机及端口号
b.配置制定临时文件夹路径，tmp文件夹要自行创建。
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:192.168.242.132：9000</value>//这个就是namenode的地址和端口号
</property>
2. 修改hadoop-env.sh文件
修改JDK的路径
3. 修改hdfs-site.xml
节点机数量为2，value为2
<property>
<name>dfs.replication</name>//文件块被存储几份//在不同的机架存储，
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name> //存储映射文件
<value>/opt/hadoop/name</value>
</property>
<name>dfs.data.dir</name>// 存储在哪个位置
<value>/opt/hadoop/data</value>
</property>
<name>dfs.tmp.dir</name>//临时文件，如果不指定，默认存在Linux默认的tmp文件目录下
<value>/opt/hadoop/tmp</value>
//------------------------------
</property>
<name>dfs.blocksize</name>
<value>64MB</value>
</property>
4. 修改mapred-site.xml
配置job tracter监听端口监听端口
<property>
<name>mapred.job.tracker</name>
<value>node01:9001</value>
</property>
//------------------------------------------------------或者本机
<property>
<name>mapred.job.tracker</name>
<value>192.168.242.132:9001</value>
</property>
5. 修改master 和 slaves
直接写本机的IP地址或者slaves IP地址（这个就是完全分布式）
修改master文件
添加namenode 主机名 尽量写IP地址
//--------------------------------755---------------------- 只能用hadoop账号--------------------
执行权限： -drwx-rw-r--
- -
755
124
3. 格式化
测试文件
虚拟机克隆不能够克隆IP地址的解决方法是 找到etc/udev/rules.d/70-persistent-net.rules找到eth1
然后再次修改sysconfig中的network-script的
00:0c;29:04:1f:ac
2c:4e:55
master 192.168.242.132
slave1 192.168.242.134
slave2 192.168.242.135
//-------------------------------------------------------------------------------------------------------------------------------------------------------------
完全分布式：
1. 机器间免秘钥
新增slave上生成秘钥文件
ssh-keygen -t rsa
scp master:/home/hadoop/.ssh/authorized_keys /home/hadoop/.ssh/
cat id_rsa.pub>>authorized_keys
scp /home/hadoop/.ssh/authorized_keys master:/home/hadoop/.ssh/
测试ssh 免秘钥登录
2. 修改master文件（$hadoop/home/conf/master）
制定namenode ip地址
拷贝到所有的机器上
2. 修改slave文件（$hadoop/home/conf/slave
制定所有的slave的 ip地址
拷贝到所有的机器上
3.
防火墙关闭 权限
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAqo52ERhoNZ1PP31YdjA9ixVQV46AOjD2HJVYnBphwHkmZjYt1amZeRz/jv+LyqdTyJ/qxbfKohg8XCxh8Iv3jAaok1Hm+Vpmv/G6xCmwgPWEuqSIM1/fK2npqMYhHANtUify3fvppMZkylHKDfb1WqOOqE4F8+kUIYb3ttv9keQCM8AfEYLw2L9dnlOTjtNjdVZUSkrl/Gb06ApabwJEzl8rV+RM73EmhADnJV2jYXhQ4uOIXs59A2Y2M1kPbtq8EtMydXAu0RMAS2ryRf89hz8fbyiLB1+Vmtu2TOJBJoFdJHRpeIU1VXiFO5sBTIk1Qtep3QBIaZ5go7V+nP7jcQ== hadoop@slave1
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw4Yvjdu0kqddArSUZqiFvK6OXpYMfPG+Z0P4m7CvH8AM0XlB562TXj8cRO+IB73z8h0ZaDBtlvYDFCk7brccvns7I/vqbIGl3QTC9UnZ1vn+OvjViMB32pigISkvnA6CjDiWFj8kiclPIfNIoMAQXoi6tnK+WwK3VP2hFGSpFbua1H1opCplhYybzPVoLH6EhU9nhCicYhxC9fFDlJ/sYNJgFFTDzXLfw1SVFnE7NVCdoNCfYFe08YDeS/TSrCC0U6HtKw1hQx6ZgMgXfIv43REbq6IuhJSQE7kfDvExCTQ/vA5CnE/bibytQJuTrPNI69VeCPFlKJIGQhnvNJ+JkQ== hadoop@slave2
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAooZ9CSQTg22BH6JKsczVAVojXYp77LXzHiU998zqZoY3ztHXU0uOPFz5fvEI+08v4P4S6p/QUnPwRG2FSExZ3RseooM0q2ZQTcC7MxNQ8GcWF/pwrlvF32EhEMo47hfuGnFlqJ+UAloypZKOJS/6Qvq9zXs1HLcyFytS1zremM2qtyTIdxcTxBjYEFXPn2PwzTm60I/PV/QmXUBHZYYmo/UqYpjy8hNjzR4OzVkaG5OyucoWC6DSd2yPHKWKcfv/10M5RbcSkvjwHbJf1wThzBN8mGPKuWjb63yreFROfq6hQVnWV7Q/IjU/lDvO2p0VMHqhaIaH83814gDzlrflLw== hadoop@master
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs
in /opt/hadoop/hadoop-1.2.1/data: namenode namespaceID = 152321483; datanode namespaceID = 1180969193
x修改Version的namespaceID和 namenode namespaceID一致
vi /opt/hadoop/hadoop-1.2.1/data/current/VERSION
namespaceID = 152321483; datanode namespaceID = 1180969193
#Mon Apr 13 12:08:43 CST 2015
namespaceID=152321483
storageID=DS-340743364-127.0.0.1-50010-1428876505344
cTime=0
storageType=DATA_NODE
layoutVersion=-41
~
每次新加入一个datanode的时候，要把该机器上的data文件夹下的文件清空 rm -rf *
1. 免秘钥
使用hadoop用户
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
cat id_rsa.pub>>authorized_keys
使用ssh测试，如果失败：
情况1： authorized_keys 权限过高：
chmod 600 authorized_keys
情况2： sshd_config
2. 安装hadoop
tar -zxvf hadoop-1.2.1.tar.gz
配置hadoop
$HADOOP_HOME/conf
1. 修改core-site.xml
a.配置Namenode主机及端口号
b.配置制定临时文件夹路径，tmp文件夹要自行创建。
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:192.168.242.132：9000</value>//这个就是namenode的地址和端口号
</property>
2. 修改hadoop-env.sh文件
修改JDK的路径
3. 修改hdfs-site.xml
节点机数量为2，value为2
<property>
<name>dfs.replication</name>//文件块被存储几份//在不同的机架存储，
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name> //存储映射文件
<value>/opt/hadoop/name</value>
</property>
<name>dfs.data.dir</name>// 存储在哪个位置
<value>/opt/hadoop/data</value>
</property>
<name>dfs.tmp.dir</name>//临时文件，如果不指定，默认存在Linux默认的tmp文件目录下
<value>/opt/hadoop/tmp</value>
//------------------------------
</property>
<name>dfs.blocksize</name>
<value>64MB</value>
</property>
4. 修改mapred-site.xml
配置job tracter监听端口监听端口
<property>
<name>mapred.job.tracker</name>
<value>node01:9001</value>
</property>
//------------------------------------------------------或者本机
<property>
<name>mapred.job.tracker</name>
<value>192.168.242.132:9001</value>
</property>
5. 修改master 和 slaves
直接写本机的IP地址或者slaves IP地址（这个就是完全分布式）
修改master文件
添加namenode 主机名 尽量写IP地址
//--------------------------------755---------------------- 只能用hadoop账号--------------------
执行权限： -drwx-rw-r--
- -
755
124
3. 格式化
测试文件
虚拟机克隆不能够克隆IP地址的解决方法是 找到etc/udev/rules.d/70-persistent-net.rules找到eth1
然后再次修改sysconfig中的network-script的
00:0c;29:04:1f:ac
2c:4e:55
master 192.168.242.132
slave1 192.168.242.134
slave2 192.168.242.135
//-------------------------------------------------------------------------------------------------------------------------------------------------------------
完全分布式：
1. 机器间免秘钥
新增slave上生成秘钥文件
ssh-keygen -t rsa
scp master:/home/hadoop/.ssh/authorized_keys /home/hadoop/.ssh/
cat id_rsa.pub>>authorized_keys
scp /home/hadoop/.ssh/authorized_keys master:/home/hadoop/.ssh/
测试ssh 免秘钥登录
2. 修改master文件（$hadoop/home/conf/master）
制定namenode ip地址
拷贝到所有的机器上
2. 修改slave文件（$hadoop/home/conf/slave
制定所有的slave的 ip地址
拷贝到所有的机器上
3.
防火墙关闭 权限
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAqo52ERhoNZ1PP31YdjA9ixVQV46AOjD2HJVYnBphwHkmZjYt1amZeRz/jv+LyqdTyJ/qxbfKohg8XCxh8Iv3jAaok1Hm+Vpmv/G6xCmwgPWEuqSIM1/fK2npqMYhHANtUify3fvppMZkylHKDfb1WqOOqE4F8+kUIYb3ttv9keQCM8AfEYLw2L9dnlOTjtNjdVZUSkrl/Gb06ApabwJEzl8rV+RM73EmhADnJV2jYXhQ4uOIXs59A2Y2M1kPbtq8EtMydXAu0RMAS2ryRf89hz8fbyiLB1+Vmtu2TOJBJoFdJHRpeIU1VXiFO5sBTIk1Qtep3QBIaZ5go7V+nP7jcQ== hadoop@slave1
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw4Yvjdu0kqddArSUZqiFvK6OXpYMfPG+Z0P4m7CvH8AM0XlB562TXj8cRO+IB73z8h0ZaDBtlvYDFCk7brccvns7I/vqbIGl3QTC9UnZ1vn+OvjViMB32pigISkvnA6CjDiWFj8kiclPIfNIoMAQXoi6tnK+WwK3VP2hFGSpFbua1H1opCplhYybzPVoLH6EhU9nhCicYhxC9fFDlJ/sYNJgFFTDzXLfw1SVFnE7NVCdoNCfYFe08YDeS/TSrCC0U6HtKw1hQx6ZgMgXfIv43REbq6IuhJSQE7kfDvExCTQ/vA5CnE/bibytQJuTrPNI69VeCPFlKJIGQhnvNJ+JkQ== hadoop@slave2
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAooZ9CSQTg22BH6JKsczVAVojXYp77LXzHiU998zqZoY3ztHXU0uOPFz5fvEI+08v4P4S6p/QUnPwRG2FSExZ3RseooM0q2ZQTcC7MxNQ8GcWF/pwrlvF32EhEMo47hfuGnFlqJ+UAloypZKOJS/6Qvq9zXs1HLcyFytS1zremM2qtyTIdxcTxBjYEFXPn2PwzTm60I/PV/QmXUBHZYYmo/UqYpjy8hNjzR4OzVkaG5OyucoWC6DSd2yPHKWKcfv/10M5RbcSkvjwHbJf1wThzBN8mGPKuWjb63yreFROfq6hQVnWV7Q/IjU/lDvO2p0VMHqhaIaH83814gDzlrflLw== hadoop@master
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs
in /opt/hadoop/hadoop-1.2.1/data: namenode namespaceID = 152321483; datanode namespaceID = 1180969193
x修改Version的namespaceID和 namenode namespaceID一致
vi /opt/hadoop/hadoop-1.2.1/data/current/VERSION
namespaceID = 152321483; datanode namespaceID = 1180969193
#Mon Apr 13 12:08:43 CST 2015
namespaceID=152321483
storageID=DS-340743364-127.0.0.1-50010-1428876505344
cTime=0
storageType=DATA_NODE
layoutVersion=-41
~
每次新加入一个datanode的时候，要把该机器上的data文件夹下的文件清空 rm -rf *
版权声明：本文为博主原创文章，未经博主允许不得转载。
posted on 2015-04-29 10:47 MrCharles在cnblogs 阅读(161) 评论(0) 编辑 收藏 举报
