会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
指尖上的艺术
爱程序爱生活
博客园
首页
新随笔
联系
管理
订阅
2016年8月7日
hadoop程序MapReduce之DataDeduplication
摘要: 需求:去掉文件中重复的数据。 样板:data.log 2016-3-1 a 2016-3-2 b 2016-3-2 c 2016-3-2 b 输出结果: 2016-3-1 a 2016-3-2 b 2016-3-2 c 解决思路:取出一行数据,经过mapper处理后,利用MapReduce默认的将相
阅读全文
posted @ 2016-08-07 01:26 麻雀虽小五脏俱全
阅读(222)
评论(0)
推荐(0)
编辑
公告