摘要: 1)通过使用history命令,我们可以深入到一个Job的任务级层面查看执行最快的任务,以及执行最慢的任务,以及其他的有用信息。命令如下: “/ouptut”就是要查询的job的输出路径,如果输出路径位于hdfs的根目录下,有时候会忘记添加“/”,也就是使用如下命令: 就会出现如下提示: 就是因为没 阅读全文
posted @ 2016-04-10 13:37 lz3018 阅读(408) 评论(0) 推荐(0) 编辑
摘要: 之前学习hadoop的时候,一直希望可以调试hadoop源码,可是一直没找到有效的方法,今天在调试矩阵乘法的时候发现了调试的方法,所以在这里记录下来。 1)事情的起因是想在一个Job里设置map的数量(虽然最终的map数量是由分片决定的),在hadoop1.2.1之前,设置方法是: 不过,hadoo 阅读全文
posted @ 2016-04-10 12:38 lz3018 阅读(5085) 评论(0) 推荐(0) 编辑