9.12

宏观上MapReducer的5个执行步骤:
1). input: 获取输入数据进行分片作为map的输入 ;
2). map:map过程对某种输入格式的一条记录解析成一条或多条记录;
3). shuffle:数据混洗,描述着数据从map task输出到reduce task输入的过程。如果没有reducer环节,也就没有shuffle了;
4). reducer:对系统key的数据进行合并;
5). output: 按照格式输出到指定目录。

posted @   秋渡晚枫  阅读(5)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
历史上的今天:
2022-09-12 关于计算机真值问题
点击右上角即可分享
微信分享提示