九月二十五日

在Hadoop生态系统中,有以下几个重要的角色:

  1. NameNode(NN):NameNode是Hadoop分布式文件系统(HDFS)的主节点,负责管理文件系统的元数据。它维护文件和目录的层次结构、权限、块的位置等信息,并处理客户端的文件系统请求。

  2. DataNode(DN):DataNode是HDFS的数据节点,负责存储和管理实际的文件数据块。DataNode将数据块存储在本地磁盘上,并响应NameNode的块分配和复制策略。

  3. ResourceManager(RM):ResourceManager是Hadoop的资源管理器,负责集群资源的调度和分配。它接收来自应用程序(通过ApplicationMaster)的资源请求,并管理集群中的NodeManager,将任务分配给可用的计算资源。

  4. NodeManager(NM):NodeManager是每个工作节点上的资源管理器,负责接收ResourceManager的命令并管理本地计算节点上的资源。它监控计算节点的使用情况,并启动、监控和报告应用程序的执行情况。

  5. Secondary NameNode(SNN):Secondary NameNode是NameNode的备份节点,定期从NameNode获取文件系统的快照(FsImage和EditLog),并生成新的FsImage文件,以减少NameNode故障时的恢复时间。

posted @   yblll  阅读(3)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律
点击右上角即可分享
微信分享提示