摘要:
1)通过使用history命令,我们可以深入到一个Job的任务级层面查看执行最快的任务,以及执行最慢的任务,以及其他的有用信息。命令如下: “/ouptut”就是要查询的job的输出路径,如果输出路径位于hdfs的根目录下,有时候会忘记添加“/”,也就是使用如下命令: 就会出现如下提示: 就是因为没 阅读全文
摘要:
之前学习hadoop的时候,一直希望可以调试hadoop源码,可是一直没找到有效的方法,今天在调试矩阵乘法的时候发现了调试的方法,所以在这里记录下来。 1)事情的起因是想在一个Job里设置map的数量(虽然最终的map数量是由分片决定的),在hadoop1.2.1之前,设置方法是: 不过,hadoo 阅读全文