hadoop wordcount程序缺陷

在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。

自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会出现。

所以一定要在main函数中,增加下面的代码,让程序去读取环境配置文件,得到你希望要的参数。

Configuration.addDefaultResource("hdfs-default.xml");
Configuration.addDefaultResource("hdfs-site.xml");
Configuration.addDefaultResource("mapred-default.xml");
Configuration.addDefaultResource("mapred-site.xml");
Configuration conf = getConf();
posted @ 2014-05-28 13:45  chenfool  阅读(201)  评论(0编辑  收藏  举报