hadoop集群环境搭建准备工作

一定要注意hadoop和linux系统的位数一定要相同，就是说如果hadoop是32位的，linux系统也一定要安装32位的。

准备工作：

1 首先在VMware中建立6台虚拟机（配置默认即可）。这是我们的集群规划：

主机名	IP	安装的软件	运行的进程
itcast11	192.168.1.201	jdk、hadoop	NameNode、DFSZKFailoverController
itcast12	192.168.1.202	jdk、hadoop	NameNode、DFSZKFailoverController
itcast13	192.168.1.203	jdk、hadoop	ResourceManager
itcast14	192.168.1.204	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
itcast15	192.168.1.205	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
itcast16	192.168.1.206	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain

 

2 点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok

回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.110 子网掩码：255.255.255.0 -> 点击确定

在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok    

（这一步每一台都要分别设置,重启后生效）

3 修改主机名

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=itcast    ###   %这个地方是主机名

（这一步每一台都要分别设置）

4修改IP

两种方式：

第一种：通过Linux图形界面进行修改（强烈推荐）

进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择I.204Pv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.119 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

第二种：修改配置文件方式（屌丝程序猿专用）

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"           ###

HWADDR="00:0C:29:3C:BF:E7"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

IPADDR="192.168.1.119"       ###

NETMASK="255.255.255.0"      ###

GATEWAY="192.168.1.1"        ###

（这一步每一台都要分别设置）

5修改主机名和IP的映射关系

vim /etc/hosts

192.168.1.201   itcast11

192.168.1.202   itcast12

192.168.1.203   itcast13

192.168.1.204   itcast14

192.168.1.205   itcast15

192.168.1.206   itcast16

（该文件每一台机器上都要改，也可以改完一台机器然后发送给其他机器）

6关闭防火墙

              #查看防火墙状态

              service iptables status

              #关闭防火墙

              service iptables stop

              #查看防火墙开机启动状态

              chkconfig iptables --list

              #关闭防火墙开机启动

              chkconfig iptables off

     （这一步每一台机器上都要做!很重要！）

7 ssh免登陆设置（以itcast11到其他5台机器为例）

cd /root/.ssh    

7.1 生成密钥

ssh-keygen -t rsa

7.2 依次设置到其他机器免登陆（将公钥拷贝给其他机器）

ssh-copy-id -i itcast12

8安装jdk，配置环境变量，关于如何安装jdk请参考linux下安装jdk

9重启Linux

              reboot

  至此，准备工作完成

 

接下来进行的是zookeeper集群的部署，具体请参照hadoop集群环境搭建之zookeeper集群的安装部署