会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Allegro
博客园
首页
新随笔
联系
订阅
管理
2018年12月20日
Spark RDD与MapReduce
摘要: 什么是Map、什么是Reduce MapReduce是一个分布式编程计算模型,用于大规模数据集的分布式系统计算。 我个人理解,Map(映射、过滤)就是对一个分布式文件系统(HDFS)中的每一行(每一块文件)执行相同的函数进行处理; Reduce(规约、化简)就是对Map处理好的数据进行两两运算,因此
阅读全文
posted @ 2018-12-20 10:34 Allegro
阅读(1700)
评论(0)
推荐(0)
编辑
公告