会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
xd_xumaomao
博客园
首页
新随笔
联系
管理
订阅
2020年4月1日
MapReduce深入
摘要: hadoop中map和reduce都是进程(spark中是线程),map和reduce可以部署在同一个机器上也可以部署在不同机器上。 输入数据是hdfs的block,通过一个map函数把它转化为一个个键值对,并同时将这些键值对写入内存缓存区(100M),内存缓存区的数据每满80M就会将这80M数据写
阅读全文
posted @ 2020-04-01 00:04 xd_xumaomao
阅读(112)
评论(0)
推荐(0)
编辑
公告