Hadoop的组成以及各组件概述

一、HADOOP核心模块

  • HDFS：高吞吐量的分布式文件系统
  • YARN：用于任务调度和集群资源管理的框架
  • MapReduce：基于yarn只上，并行处理计算引擎

二、HDFS分布式文件存储系统

  • 特性

　　　　1、主从架构：一般情况下HDFS集群有一个NameNode和多个DataNode组成，NameNode是HDFS集群的主节点，DataNode是HDFS的从节点；

　　　　2、按块存储：　　　　

　　　

三、MapReduce分布式计算框架

 

四、Yarn资源调度框架

 

posted @ 2021-11-30 16:30  Shydow  阅读(553)  评论(0)  编辑  收藏  举报