Hadoop学习笔记(二)浅谈Hadoop守护进程
Hadoop初学笔记(二)浅谈Hadoop守护进程
对于分布式系统架构来说,一般而言分成两个部分:
管理层,用于对应用层的管理
应用层,用于任务的执行
在Hadoop中,主要的后台守护进程包括:
NameNode元数据服务器
主节点,存储文件的元数据(文件名,文件目录结构,文件属性——生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等
SecondaryNameNode辅助元数据服务器
用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据快照
DataNodes块存储
在本地文件系统存储文件块数据,以及块数据校验和
JobTracker任务调度
负责接收用户提交的作业,负责启动、跟踪任务执行
TaskTrackers任务执行
负责执行由JobTracker分配的任务,管理各个任务在每个节点的执行情况
HDFS分布式文件系统
NameNode:属于管理层,用于管理数据
SecondaryNameNode:属于管理层,辅助NameNode管理
DataNodes:属于应用层,用于数据的存储,被NameNode管理里,定时向NameNode进行工作汇报,执行NameNode分配分发的任务
MapReduce分布式并行计算框架
JobTracker:属于管理层,管理集群资源与对任务调度,监控任务的执行
TaskTracker:属于应用层,执行JobTracker分配分发的任务,并向JobTracker汇报任务的执行情况