会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Xiaohu_BigData
博客园
首页
新随笔
联系
订阅
管理
2019年12月19日
大数据之路week07--day04 (YARN,Hadoop的优化,combline,join思想,)
摘要: hadoop 的计算特点:将计算任务向数据靠拢,而不是将数据向计算靠拢。 特点:数据本地化,减少网络io。 首先需要知道,hadoop数据本地化是指的map任务,reduce任务并不具备数据本地化特征。 通常输入的数据首先在逻辑上(注意这里不是真正物理上划分)将会分片split,每个分片上构建一个m
阅读全文
posted @ 2019-12-19 20:34 Xiaohu_BigData
阅读(439)
评论(0)
推荐(0)
编辑
公告