摘要:
1.流程示意图,如图4-6,4-7所示 图4-6 MapReduce详细工作流程(一) 图4-7 MapReduce详细工作流程(二) 2.流程详解 上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Shuffle过程详解,如下: 1)MapT 阅读全文
摘要:
1 查看多台机器jps脚本 1)创建vim jpsall atguigu@hadoop102:cd /opt/module/hadoop-2.8.5/bin$ 2) #!/bin/bash for ((host=102;host<105;host++)); do echo hadoop$host s 阅读全文
摘要:
解决办法1: [root@djt002 hadoop]# vi /etc/selinux/config 改为 SELINUX=disabled 解决办法2: 查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3: 必须 阅读全文
摘要:
在配置hadoop集群时,时间同步是必须要做的,否则会出现各种意想不到的问题。 hadoop102 为 ntp server,hadoop103以及hadoop104 为ntp client(即需要同步时间机器) 1.全部机器都要安装ntp以及ntpdate sudo apt-get install 阅读全文
摘要:
hadoop集群通过web管理界面只显示一个节点,但每台机器datanode都启动了 datanode日志; java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Nati 阅读全文