中间结果占满了磁盘空间

1.准备文件(200M)

2.跑MapReduce

3.map阶段48%卡主不动

4.强制杀死进程

hadoop jar -kill id号

5.再次启动报错,资源不足,namenode进入安全模式,强制解除安全模式没有效果

hadoop dfsadmin -safemode leave

6.使用df -hT  ,发现磁盘空间占满,经过百度,使用du -sh ./* 发现是hadoop下的data目录下的一个文件把磁盘都使用了,这是一个mapreduce的一个中间结果

7.删除中间结果文件,再次使用df -hT查看,磁盘正常

8.能正常启动mapreduce

9.J哥说使用hdfs fsck / 查看 然后使用 hdfs dfs -rm -r -skipTrash 文件名 删除相应的文件

10.教训,学习环境下不要使用超过10M的文件

posted @ 2019-11-16 00:39  tunan96  阅读(205)  评论(0编辑  收藏  举报