[hadoop新实战4]hadoop完全分布式安装序列(支持ubuntu和redhat)

ubuntu redhat亲测可行,注意jdk一定要安装,只装jre会导致jps不可用,调试错误比较麻烦

image

一.jre的安装(环境变量配置最好配置root用户的环境变量)
1.将jre目录改为可执行,用户改为root
2.修改用户环境变量文件
vim .bash_profile
增加 :/usr/jre/bin
source .bash_profile
echo $PATH 是否有 刚添加的目录
是否java 有效果
二.ssh安装(linux一般安装有客户端,服务端redhat可能有,ubuntu一定没有)
1.redhat下
(1)测试是否安装了ssh service
ssh localhost或者rpm -qa|grep openssh
(2)redhat上去光盘里安装
rpm -ivh openssh-server-5.3p1-81.el6.i686
2.ubuntu下
sudo apt-get install openssh-server
3.生成秘钥对
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.ubuntu下
sudo apt-get install openssh-server
三.hadoop文件的配置
1.修改hadoop-env.sh
export JAVA_HOME=/usr/jre
2.修改xm11:core-site.xml
<property> 
<name>fs.default.name</name>   
<value>hdfs://master:9000</value>
</property>
3.修改xml2:mapred-site.xml
<property> 
<name>mapred.job.tracker</name>   
<value>master:9001</value>
</property>
4.修改xml3:hdfs-site.xml
<property> 
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfsDir</value>
</property>
<property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmpDir</value>
</property> 
<name>dfs.replication</name>
<value>2</value>
</property>
5.修改masters和slaves文件
masters里面master
slaves里面加
slaver1
slaver2
四.重启复制到其他节点上
五.配置网络
1.修改主机名
(1)ubuntu下修改/etc/hostname这个文件,直接填写master
(2)redhat 修改/etc/sysconfig/network文件
NETWORKING=yes
HOSTNAME=master
2.查询IP,在/etc/host中配置
ifconfig
192.168.45.141 master
192.168.45.140 slaver1
192.168.45.139 slaver2
六.复制到其他机器
1.复制公钥到其他机器
scp ~/.ssh/id_rsa.pub root@slaver1:~/.ssh/
2.追加到authorized_keys文件中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
七、运行和验证
1.格式化hdfs
./hadoop namenode -format
2.打开hadoop
./start-all.sh
3.验证网站是否登录
 http://localhost:50030
注意如果用局域网的计算机访问发现端口被封应打开防火墙:
/sbin/iptables -I INPUT -p tcp --dport 50030 -j ACCEPT #开启50030端口
/etc/rc.d/init.d/iptables save #保存配置
/etc/rc.d/init.d/iptables restart #重启服务
查看端口是否已经开放
/etc/init.d/iptables status

posted @ 2014-02-09 16:21  老刁  阅读(188)  评论(0编辑  收藏  举报