CentOS 6.3下hadoop完全分布式配置心得

花了几天的功夫，终于，完成了hadoop完全分布式模式的配置，总共有四个节点（NameNode,DataNode01、DataNode02、DataNode03）组成，网络拓扑图如下图所示：

配置中，应注意以下几点：

1. hadoop-env.sh中，应修改JAVA_HOME和HADOOP_PID_DIR=${HADOOP_HOME}/pids，默认情况下，各个进程的pid保存在/tmp目录下，linux倘若清空此目录下内容，我们便无法用stop-all.sh停止各个daemon，因为namenode找不到pid。
2. 切记要关闭个节点的防火墙 chkconfig --level 35 iptables off（表示永久性关闭）
3. 确保/etc/hosts和/etc/sysconfig/network以及通过hostname命令查看的主机名完全一致
4. 运用hadoop的eclipse插件开发MapReduce程序  
   • 应用于hadoop版本兼容的插件
   • Define Hadoop Location 时，主机名最好用IP地址表示