2022年1月24日
MR与spark的区别
摘要： 1.本质上相同，都是把Map端数据分类处理后交由Reduce的过程 2.数据流有所区别，MR按map, spill, merge, shuffle, sort, reduce等各阶段逐一实现。Spark基于DAG数据流，可实现更复杂数据流操作（根据宽/窄依赖实现） 3.实现功能上有所区别，MR在ma 阅读全文
posted @ 2022-01-24 18:15 瘦多一点 阅读(822) 评论(0) 推荐(0) 编辑