月下美妞1314 - 博客园

2014年5月2日

摘要： RecordWriter是将Map/Reduce结果（Key-Value）输出到文件系统中。/** * RecordWriter writes the output <key, value> pairs * to an output file. * RecordWriter impl... 阅读全文

posted @ 2014-05-02 16:23 月下美妞1314 阅读(990) 评论(0) 推荐(0) 编辑

OutputFormat中OutputCommitter解析

摘要：在hadoop中，由于一个Task可能由多个节点同时运行，当每个节点完成Task时，一个Task可能会出现多个结果，为了避免这种情况的出现，使用了OutPutCommitter。所以OutPutCommitter主要的功能是在作业或任务完成时，确保结果的正确提交。OutPutCommitter的主要... 阅读全文

posted @ 2014-05-02 15:57 月下美妞1314 阅读(726) 评论(0) 推荐(0) 编辑

Hadoop中OutputFormat解析

摘要：一、OutputFormatOutputFormat描述的是MapReduce的输出格式，它主要的任务是： 1.验证job输出格式的有效性，如：检查输出的目录是否存在。 2.通过实现RecordWriter，将输出的结果写到文件系统的文件中。OutputFormat的主要是由三个抽象方法组成，下面根... 阅读全文

posted @ 2014-05-02 14:59 月下美妞1314 阅读(393) 评论(0) 推荐(0) 编辑

2014年4月30日

Hadoop中的InputFormat解析

摘要： 1、InputFormat InputFormat是Hadoop平台上Mapreduce输入的规范，仅有两个抽象方法。List getSplits()，获取由输入文件计算出输入分片(InputSplit)，解决数据或文件分割成片问题。RecordReader createRecordReader... 阅读全文

posted @ 2014-04-30 19:12 月下美妞1314 阅读(620) 评论(0) 推荐(0) 编辑

2014年4月28日

字符串的简单匹配算法

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2014-04-28 22:08 月下美妞1314 阅读(4) 评论(0) 推荐(0) 编辑

2014年4月23日

Symmetric Tree

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2014-04-23 13:38 月下美妞1314 阅读(2) 评论(0) 推荐(0) 编辑

2014年4月15日

Sort Colors

只有注册用户登录后才能阅读该文。阅读全文