hadoop日志【3】---进度不动的reduce过程

集群的slave由于意外原因在运行过程中突然关机过两台

结果这两台存放hadoop日志的路径权限竟然全部变成root的，hadoop无法保存日志，异常不断

修改了文件权限，然后重新跑任务

结果跑到20%的时候又不动了

根据经验，要吗是slave中的防火墙把hdfs的端口给堵了造成文件无法在slave间复制，要吗就是又是日志保存出问题，导致无法正常生成task

查看了一下负责reduce的机器日志，报的全是

No route to host

的错误，看了一下，果然是防火墙堵端口了

不知道什么时间防火墙又全部打开了

关掉防火墙

重试job

ok了

在比较早的时间还犯过一个错误，host文件里的ip写错了，结果发现reduce过程奇慢无比，也是停止在一个固定百分比不动了。