会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
朱超超
博客园
首页
新随笔
联系
订阅
管理
2020年7月6日
MapReduce运行原理和过程
摘要: 一.Map的原理和运行流程 Map的输入数据源是多种多样的,我们使用hdfs作为数据源。文件在hdfs上是以block(块,Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片,即Split(分片,逻辑划分,不包含具体数据,只包含这些数据的位置信息),那么上图中
阅读全文
posted @ 2020-07-06 14:16 USTC丶ZCC
阅读(791)
评论(0)
推荐(0)
编辑
公告