2022年5月26日
Spark：单词计数(Word Count)的MapReduce实现(Java/Python)
摘要： Spark：单词计数(Word Count)的MapReduce实现(Java/Python) 我们在上一篇博客中学习了如何用Hadoop-MapReduce实现单词计数，现在我们来看如何用Spark来实现同样的功能。Spark框架也是MapReduce-like模型，采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce，具有以下两个特点：对大数据处理框架的输入/输出，中间数据进行建模，将这些数据抽象为统一的数据结构命名为弹性分布式数据集。 阅读全文
posted @ 2022-05-26 20:24 orion-orion 阅读(1234) 评论(0) 推荐(1) 编辑