会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
小N~
博客园
首页
新随笔
联系
订阅
管理
2016年3月9日
mapreduce基本原理
摘要: 场景: 一个大小为100T的文件,统计单词"ERROR"和"INFO"的个数 普通做法 是不是效率太低了? 换个方式 说明: 把100T文件分成100份,一台机器保存1T文件。 把程序代码复制100份,在100台机器上运行。 Combiner:对中间结果的合并,减少对带宽的占用,可以不使用,在red
阅读全文
posted @ 2016-03-09 14:52 小N~
阅读(291)
评论(0)
推荐(0)
编辑
公告