Hadoop环境安装配置(构建集群)

环境安装配置

 构建集群

集群概念

什么是集群

集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源，这些单个的计算机系统就是集群的节点（node）。集群提供了以下关键的特性。

(一) 可扩展性。集群的性能不限于单一的服务实体，新的服务实体可以动态的加入到集群，从而增强集群的性能。

(二) 高可用性。集群通过服务实体冗余使客户端免于轻易遭遇到“out of service”警告。当一台节点服务器发生故障的时候，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。消除单点故障对于增强数据可用性、可达性和可靠性是非常重要的。

(三) 负载均衡。负载均衡能把任务比较均匀的分布到集群环境下的计算和网络资源，以便提高数据吞吐量。

(四) 错误恢复。如果集群中的某一台服务器由于故障或者维护需要而无法使用，资源和应用程序将转移到可用的集群节点上。这种由于某个节点中的资源不能工作，另一个可用节点中的资源能够透明的接管并继续完成任务的过程叫做错误恢复。

分布式与集群的联系与区别如下：

(一) 分布式是指将不同的业务分布在不同的地方。

(二) 而集群指的是将几台服务器集中在一起，实现同一业务。

(三) 分布式的每一个节点，都可以做集群，而集群并不一定就是分布式的。而分布式，从狭义上理解，也与集群差不多，但是它的组织比较松散，不像集群，有一定组织性，一台服务器宕了，其他的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，一个节点宕了，这个业务就不可访问了。

集群主要分成三大类：

HA：高可用集群（High Availability Cluster）。

LBC：负载均衡集群/负载均衡系统（Load Balance Cluster）

HPC：科学计算集群（High Performance Computing Cluster）/高性能计算（High Performance Computing）集群。

集群规划

主机名	IP	备注
node1	192.68.55.128	主节点
node2	192.68.55.129	备节点
node3	192.68.55.130	一般节点

 

构建集群

可以创建多个CentOS系统的虚拟机，用来模拟服务器集群。
这里有个快捷办法：直接复制虚拟机！

• 关闭虚拟机node1

• 2）在宿主机windows下进入E:\Virtual Machines目录，将刚才创建的虚拟机node1复制两份，分别命名为node2和node3。

通过VMware打开node2

通过VMware主菜单“文件”–>“打开”

找到node2目录下的.vmx文件，然后单击“打开”按钮

选中刚打开的虚拟机（此时该虚拟机名字也是node1），右键单击，选择右键菜单“设置…”

在“虚拟机设置”对话框中，单击“选项”分页，然后在右上角的“虚拟机名称”输入框中修改名称为“node2”。单击“确定”按钮

 

这时虚拟机名称已经更改为node2了，单击绿色三角按钮“开启此虚拟机”

 

选择单击“我已复制该虚拟机”按钮

 

选择单击“我已复制该虚拟机”按钮

修改IP
首先，输入用户名root和密码123456，登录虚拟机；然后通过编辑文件修改IP

vi /etc/sysconfig/network-scripts/ifcfg-ens32

对于node2，将IP设定为192.168.55.129

保存退出，然后重启网络。通过命令ping www.baidu.com 来测试node2是否可以访问互联网。

建立CRT 会话

修改主机名 永久修改主机名

vi /etc/hostname

将node1修改为node2即可。
修改临时主机名

然后断开连接，重新连接，主机名将显示为node2

同样办法，复制配置第3台虚拟机node3。

最后通过CRT连接3台虚拟机：