HADOOP__HADOOP基础安装和配置

HADOOP安装过程

（一） 硬件环境

此次的作业，在之前的一个成功配置的基础之上，鉴于Ubuntu的操作系统，Server的占用内存比较小，启动较快，同时为了减轻机器的负担。做了如下的选择。

操作系统	虚拟机	安装的系统	虚机数	CPU	RAM
Win7	Vmware 9	Ubuntu 12.04LTS Server	4台	I3 2310	6GB

（二）软件环境

由于Ubuntu的预装的程序较少，所以我自行安装了SSH程序，Ubuntu需要修改更新源(加快下载软件速度），这里就不具体描述了，修改/etc/apt/sources.list此更新源为163的源。

 

Hadoop版本	JDK版本	SSH
0.20.2	jdk-6u37-linux	OPENSSH-SERVER

（三）网络环境

连接方式	Vmware设置成NAT连接方式
结点	IP地址	域名	备注
Master	192.168.100.100	master	hadoop中master结点
Slave1	192.168.100.101	slave1	hadoop中slave结点
Slave2	192.168.100.102	slave2	hadoop中slave结点
Server	192.168.100.253	server	DNS,NFS服务器
/	192.168.100.254	/	Vmware里面的网关和DNS服务器

 

（四）安装步骤

步骤1

安装虚拟机，命名规范,用作于Master主机,后面用于复制。

步骤2，

配置HADOOP连接为NAT，关闭Floppy的开机连接等不必要的设备,设置好DNS

步骤3，

配置etc.network.interfaces，网关按照VMWARE中的设置设置，限定好IP地址

步骤4，

配置SSH SERVER来用SecureCrt连接，方便统一管理

步骤5，

修改HOSTNAME为规范的配置，修改HOSTS里面的本地对应的名称，要和hostname一致，否则会因为找不到对应主机而发生错误

hostname

hosts

步骤6，

在hadoop到新建的download文件夹中,并安装HADOOP到/usr/hadoop

步骤7，

JDK安装。安装好hadoop和JDK后。,配置etc.profile中的jdk和HADOOP环境变量

步骤8，

配置Hadoop中的SLAVES和MASTERS文件。

slaves

masters

步骤9，

配置hadoop-ENV.sh中的JAVA主目录，和core-site.xml和mapred-site.xml以及hdfs-site.xml等文件(以上文件均在hadoop/conf中）

hadoop-env.sh

core-site.xml

mapred-site.xml

hdfs-site.xml

 

以上步骤结束后,利用Vmware的克隆功能功能出3份，一份用作于MASTER，其他两个为slave。 修改hostname和hosts文件，分别对应到master,slave1,slave2，按预先分配的设置。

步骤10，

生成ssh密钥，在/home/hadoop文件夹中输入该命令。生成的密钥文件夹为/home/hadoop/.ssh 该文件夹为隐藏文件夹

用作与相互之间ssh的连接，此处分开生成是为了让三份ssh随机生成的密钥不一样，保证安全性。

修改.ssh文件夹的权限，让其他人可读可执行，主要用于无密钥认证。

以MASTER为主将其他主机和本机的密钥放入到authorized_keys中，汇集其他所有密钥后。分发到各台主机，实现全互联的无密钥认证。

步骤11，

以上做好配置，就要对namenode结点进行格式化了，初始化一些设置。

步骤12

启动hadoop，启动成功。

---

 

遇到的问题：

9001端口没有起来

解决：使用以下命令解决9001端口的连同问题。