hadoop集群搭建
一、centos安装
1.硬盘分区。原先xp64位系统，包含两个盘C，D。扩展出一个100G的逻辑分区出来安装centos6.4。
2.刻录安装盘。镜像放在实验室ftp的虚拟机与镜像文件夹内。我试过win7下硬盘安装，可以成功，但是xp64位下硬盘安装的话，老是出现“ An error occurred finding the installation image on your hard drive”的问题，尝试了各种分区方案，引导方案都无解。最后无奈，只能光盘安装。后来发现光盘安装实际上比硬盘安装要方便多了，因为省了好多分区和复制文件的操作，特别对于集群来说，要安装多台机子，硬盘安装就更烦了。所以还是建议光盘安装。
3.光盘启动安装，将centos装在之前分出的100G的盘里。安装时候对主机名，用户名的设置按集群要求来，省得后面再修改。
4.设置ip。注：ip设置的时候把“connect automatically”勾选上，不然有时候网络会断。
节点机器名和ip:(注：本来是slave的，一开始错写成salve了，所以就将错就错了= =!这里设成178网段，这样整个校园网就都可以访问了)
|
机器名称 |
IP地址 |
|
Master.Hadoop |
192.168.178.92 |
|
Salve1.Hadoop |
192.168.178.93 |
|
Salve2.Hadoop |
192.168.178.94 |
|
Salve3.Hadoop |
192.168.178.95 |
|
Salve4.Hadoop |
192.168.178.96 |
|
Salve5.Hadoop |
192.168.178.97 |
|
Salve6.Hadoop |
192.168.178.98 |
|
Salve7.Hadoop |
192.168.178.99 |
|
Salve8.Hadoop |
192.168.178.100 |
二、SecureCRT远程访问集群
集群系统装好后，为了方便操作系统，安装SecureCRT进行远程访问。具体安装方法，参考：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503925.html。
三、hadoop集群搭建
搭建详细过程参考：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
1.SSH无密码验证配置。先配置Master无密码登录所有Salve，然后配置所有Slave无密码登录Master。
2.java安装。这里使用java jdk1.6.0_31。
3.hadoop安装。版本1.1.2。
注：如果先前安装好了hadoop，可以将Master的/usr/hadoop文件夹复制到各个Slave上，复制前修改"/usr/hadoop/conf/slaves"文件，加入新节点主机名。关闭防火墙和SELinux，不然会出现“Exception in createBlockOutputStream java.io.IOException”，数据貌似就写不进去了。关闭防火墙时，要root用户进行service iptables stop和service ip6tables stop！这里蛋疼了一个下午。
四、eclipse开发环境搭建
参考：http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html
配置文件相关参数的修改要在hadoop集群上修改，直接从eclipse中设置不起作用。如对mapred-site.xml中mapred.tasktracker.map.tasks.maximum值的设置，需要逐个修改slave中的配置文件。
参考2：http://www.blogjava.net/yongboy/archive/2012/04/26/376486.html
