yarn和mapreduce

mapreduce负责计算:

map阶段并行处理输入数据。

reduce阶段负责对map的结果进行汇总。

yarn是hadoop的资源管理器。管理cpu和内存。

相关组件:

resourcemanager:管理整个集群的资源

nodemanager:管理单节点服务器资源

applicationmaster:管理单个任务(负责任务调度)

container:容器,封装了任务运行所需要的资源(负责资源调度)

posted @   拿什么救赎  阅读(43)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
点击右上角即可分享
微信分享提示