hadoop备战:一台x86计算机搭建hadoop的全分布式集群
主要的软硬件配置:
x86台式机,window7 64位系统vb虚拟机(x86的台式机至少是4G内存,才干开3台虚机)centos6.4操作系统hadoop-1.1.2.tar.gz
jdk-6u24-linux-i586.binWinScp 远程文件传输工具,非常好用。能够用于windows和虚拟机Linux之间文件相互拷贝。
一、root下的配置
a) 改动主机名:vi /etc/sysconfig/network
Master,slave1,slave2
b) 解析Ip: vi /etc/hosts
192.168.8.100 master
192.168.8.101 slave1
192.168.8.102 slave2
c) 调试网络:
採用网桥连接网络,配置网络。
改动后记得调用 service network restart
确保三台虚拟机可以相互ping通。
d) 关闭防火墙
查看:service iptables status
关闭:service iptables stop
查看防火墙有无自启动:
Chkconfig –-list | grepiptables
关闭自启动:
Chkconfig iptables off
二、yao用户下的配置
a) 创建用户yao,设置password,进入用户
useradd yao
passwd 123456
b) master创建公私秘钥
ssh-keygen –t rsa
1)将id_rsa.pub复制给authorized_keys
Cp id_rsa.pub authorized_keys
2)将master中的authorized_keys复制给slave1的/home下
scp id_rsa.pub root@192.168.8.101:/home
3)将master拷贝过来的authorized_keys拷贝到slave1本身所创的authorized_keys下,同理slave2的也是。最后达到任一个authorized_keys中都包括全部机组的公钥。
4)将hadoop拷贝拷贝到相应的机子中/home/yao/Documents/
在root下配置环境变量:vi /etc/profile
export HADOOP_HOME=/home/yao/Documents/hadoop
export HADOOP_HOME_WARN_SUPPRESS=1
export PATH=.:$PATH:$HADOOP_HOME
注:su + username实现切换用户。
5)安装jdk,解压时须要授权;
Chmod u+x jdk。。。
解压。
配置环境变量:vi /etc/profile
6)改动/hadoop/conf下的配置文件
改动core-site.xml
改动hdfs-site.xml
改动mapred-site.xml
7)改动hadoop/conf/hadoop-evn.xml文件,这里指定jdk的路径。
export JAVA_HOME=/usr/local/jdk
8)改动/hadoop/conf/masters 和slaves,相应协商虚拟机的名称,让hadoop知道主机和datanode;
Masters: Master
Slavers: Slave1 Slave2
三、拷贝hadoop
上述master中的hadoop配置基本完毕了,因为namenode节点上的hadoop配置是同样的,所以如今将master上的hadoop分别复制到slave1和slave2上。
命令:
Scp -r ./hadoop yao@slave1:/home/yao/
Scp -r ./hadoop yao@slave2:/home/yao/
拷贝完毕后,在master机器上hadoop文件夹下运行:
格式化:Bin/hadoop namenode -format
下一步,运行启动:
Bin/start-all.sh
在slave1中,输入jps:
类似的在slave2中,输入jps,也能得到相同的结果:
总结:
配置这样的全分布式的hadoop集群,分为几个步骤:
1)配置Hosts文件
2)建立Hadoop执行账号
3)配置ssh免password连入
4)下载并解压hadoop安装包
5)配置namenode,改动site文件
6)配置hadoop-env.sh
7)配置masters,和slaves文件
8)向个节点复制hadoop
9)格式化namenode
10)启动hadoop
11)用jps检验各后台进程是否成功启动
注:不能眼高手低,从装机開始,每一步都会遇到各种各样的问题须要解决。这是个熟悉指令和hadoop文件机制的过程。
伪分布式
伪分布式的搭建是很easy的,由于它是单一的节点,上述步骤仅仅须要:
1)建立Hadoop执行账号
2)配置ssh免password连入(单一节点,仅仅要将id_rsa.pub拷贝到authorized_keys中就能实现自身免password)
3)下载并解压hadoop安装包
4)下载jdk,并解压安装
5)改动site文件
6)配置hadoop-env.sh
OK,基本上理解hadoop搭建的过程,伪分布和全分布都是非常easy的。7)格式化namenode
8)启动hadoop
9)用jps检验各后台进程是否成功启动