会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Jasongo
博客园
首页
新随笔
联系
订阅
管理
2020年1月28日
MapReduce计算框架
摘要: 原理流程分析 Map端: 文件存储在HDFS中,每个文件切分成多个一定大小(默认128M)的Block(默认3个备份)存储在多个数据节点上,数据格定义以"\n"分割每条记录,以空格区分一个目标单词。 每读取一条记录,调用一次map函数,然后继续读取下一条记录直到split尾部。 map 输出的结果暂
阅读全文
posted @ 2020-01-28 15:14 Jasongo
阅读(697)
评论(0)
推荐(0)
编辑