2014 年 5月 2 日随笔档案 - 月下美妞1314

2014年5月2日

摘要：一、Partitioner介绍Partitioner的作用是对Mapper产生的中间结果进行分片，以便将同一分组的数据交给同一个Reduce处理，它直接影响Reduce阶段的负载均衡（个人理解：就是按照Reduce的个数，将Mapper产生的中间结果按照关键字送给不同的Reduce，Reduce对相... 阅读全文

posted @ 2014-05-02 21:10 月下美妞1314 阅读(365) 评论(0) 推荐(0) 编辑

RecordWriter接口解析

摘要： RecordWriter是将Map/Reduce结果（Key-Value）输出到文件系统中。/** * RecordWriter writes the output <key, value> pairs * to an output file. * RecordWriter impl... 阅读全文

posted @ 2014-05-02 16:23 月下美妞1314 阅读(990) 评论(0) 推荐(0) 编辑

OutputFormat中OutputCommitter解析

摘要：在hadoop中，由于一个Task可能由多个节点同时运行，当每个节点完成Task时，一个Task可能会出现多个结果，为了避免这种情况的出现，使用了OutPutCommitter。所以OutPutCommitter主要的功能是在作业或任务完成时，确保结果的正确提交。OutPutCommitter的主要... 阅读全文

posted @ 2014-05-02 15:57 月下美妞1314 阅读(726) 评论(0) 推荐(0) 编辑

Hadoop中OutputFormat解析

摘要：一、OutputFormatOutputFormat描述的是MapReduce的输出格式，它主要的任务是： 1.验证job输出格式的有效性，如：检查输出的目录是否存在。 2.通过实现RecordWriter，将输出的结果写到文件系统的文件中。OutputFormat的主要是由三个抽象方法组成，下面根... 阅读全文

posted @ 2014-05-02 14:59 月下美妞1314 阅读(393) 评论(0) 推荐(0) 编辑