Hadoop MapReduce 架构
构成MapReduce集群为两类节点, JobTeacker和TaskTrasker。 与HDFS架构类似,MapReduce也采用主从(master、slave)的架构。
JobTeacker和TaskTrasker分别是两种守护进程,运行在各自的节点上,客户端负责用户作业的提交。
- JobTeacker
数目:1个;
作用:负责接受客户端作业提交,调度任务到TaskTrasker上运行,并提供监控TaskTrasker及任务进度等管理功能
- TaskTrasker
数目:至少1个(多个);
作用:实例化用户程序,在本地执行任务并周期性地向JobTeacker汇报状态
本文参考书籍------Hadoop海量数据处理
技术详解与项目实战
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步