MapReduce基础编程 findMaxValue

  学习hadoop也有了一段时间,从开始的全然不懂,到后来自己摸索着搭建hadoop测试平台,实在是费了不少的心思。不过还好,总算还是磕磕碰碰的搭好了,在三台机器上,分别配置好各自的角色,一台namenode两台作为datenode,跑出了wordcount的结果,虽说结果与想象的有所出入,但是还是有效果滴~^_^

  之后,就是研究hadoop的理论知识了,虽是“研究”这样说,其实不过也就是看看资料和书籍而已,主要就是了解下它到底是个什么玩意儿,到底是干什么的。资料很多,大多是网上的或是论坛上的,hadoop技术论坛给予我的帮助很多,在此万分感谢~~书籍方面主要就是《Hadoop权威指南》和《云计算的关键技术和应用实例》这两本书了,读了之后,有所感触但是想法不够深入,还须仔细研读……

    现在就尝试看程序写程序,光看也没什么意思了,写点儿什么才好看效果。所以才有了findMaxValue,主要是参考wordcount完成的。其中,发现有几点需要注意的:

    1、hadoop对于参数类型的吻合十分注重,在jobconf中配置的类型就一定是数据相符合的类型

           2、hadoop不是根据输入的文件数来分配reduce的,而是key——这点仍需验证

           3、System.out.print是不错的debug方式,数据打印出来才看得明白

           4、要写出好的程序,必须写自己的类

       好,就这么多吧~~

posted on 2011-03-06 21:05  pareer  阅读(358)  评论(0编辑  收藏  举报

导航