CentOS 6.3下hadoop完全分布式配置心得
花了几天的功夫,终于,完成了hadoop完全分布式模式的配置,总共有四个节点(NameNode,DataNode01、DataNode02、DataNode03)组成,网络拓扑图如下图所示:
配置中,应注意以下几点:
- hadoop-env.sh中,应修改JAVA_HOME和HADOOP_PID_DIR=${HADOOP_HOME}/pids,默认情况下,各个进程的pid保存在/tmp目录下,linux倘若清空此目录下内容,我们便无法用stop-all.sh停止各个daemon,因为namenode找不到pid。
- 切记要关闭个节点的防火墙 chkconfig --level 35 iptables off(表示永久性关闭)
- 确保/etc/hosts和/etc/sysconfig/network以及通过hostname命令查看的主机名完全一致
- 运用hadoop的eclipse插件开发MapReduce程序
- 应用于hadoop版本兼容的插件
- Define Hadoop Location 时,主机名最好用IP地址表示