会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Orion's Blog
联邦学习、图机器学习、推荐系统
博客园
首页
新随笔
联系
订阅
管理
2022年5月26日
Spark:单词计数(Word Count)的MapReduce实现(Java/Python)
摘要:
我们在上一篇博客中学习了如何用Hadoop-MapReduce实现单词计数,现在我们来看如何用Spark来实现同样的功能。Spark框架也是MapReduce-like模型,采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce,具有以下两个特点:对大数据处理框架的输入/输出,中间数据进行建模,将这些数据抽象为统一的数据结构命名为弹性分布式数据集。
阅读全文
posted @ 2022-05-26 20:24 orion-orion
阅读(1155)
评论(0)
推荐(1)
编辑
公告