会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
zhangmingmkzj
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2023年11月24日
11.24日记
摘要: 前面有提到MapReduce 框架采用非循环式的数据流模型,把中间结果写入到 HDFS 中,带来了大量的数据复制、磁盘 IO 和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。因此出现了RDD这个概念。RDD(Resilient Distrib
阅读全文
posted @ 2023-11-24 22:08 zhangmingmingkjz
阅读(2)
评论(0)
推荐(0)
编辑
11.23日记
摘要: MapReduce是面向大数据并行处理的计算模型、框架和平台,它隐含了以下三层含义:(1)MapReduce是一个基于集群的高性能并行计算平台(Cluster Infrastructure)。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。(2)MapReduc
阅读全文
posted @ 2023-11-24 22:06 zhangmingmingkjz
阅读(4)
评论(0)
推荐(0)
编辑