会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
waker_wang
博客园
|
首页
|
新随笔
|
新文章
|
联系
|
订阅
|
管理
2018年7月30日
spark和MR比较
摘要: MapReduce: 分布式的计算框架 缺点:执行速度慢 IO瓶颈 ==> 磁盘IO 网络IO shuffle机制:数据需要输出到磁盘,而且每次shuffle都需要进行排序操作 框架的机制: 只有Map和Reduce两个算子,对于比较复杂的任务,需要构建多个job来执行 当存在job依赖的时候,jo
阅读全文
posted @ 2018-07-30 15:21 waker_wang
阅读(1835)
评论(0)
推荐(0)
编辑
公告