大数据

学好hadoop不是一朝一夕的事情此文档简略仅适用于初入门做了解使用，若想深入学习请使用《hadoop权威指南》

hadoop模块：

Hadoop Common：支持其他Hadoop模块的常用实用程序。

Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。

Hadoop YARN：作业调度和集群资源管理的框架。

Hadoop MapReduce：基于YARN的系统，用于并行处理大型数据集。（一种计算框架）

Hadoop Ozone： Hadoop的对象存储。（后来新增）

 

三种运行模式：

本地（独立）模式：

Hadoop配置为以非分布式模式运行，作为单个Java进程。这对调试很有用

伪分布式模式：

Hadoop还可以在伪分布式模式下在单节点上运行，其中每个Hadoop守护程序在单独的Java进程中运行

在一台机器上运行hdfs文件系统，运行mr程序，从hdfs上获取数据，结果存放到hdfs上

完全分布式模式：

运行在多台机器上，同时只有一个hdfs系统

10.12

hdfs体系结构（主、/从结构）

图参照官方文档

 

 

namenode：维护命名空间、保存元数据和用户对hdfs的操作、副本数等

管理文件系统命名空间的主服务器,和管理客户端对文件的访问组成,块到DataNode的映射

datanode: 存放实际数据（块）

连接到它们运行的节点的存储

提供来自文件系统客户端的读写请求

执行块的创建，删除

secondarynamenode：辅助namenode进行工作（检查点保存）
权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_42721694/article/details/85001434