2016年8月7日
hadoop程序MapReduce之DataDeduplication
摘要： 需求：去掉文件中重复的数据。 样板：data.log 2016-3-1 a 2016-3-2 b 2016-3-2 c 2016-3-2 b 输出结果： 2016-3-1 a 2016-3-2 b 2016-3-2 c 解决思路：取出一行数据，经过mapper处理后，利用MapReduce默认的将相 阅读全文
posted @ 2016-08-07 01:26 麻雀虽小五脏俱全 阅读(222) 评论(0) 推荐(0) 编辑