大数据
学好hadoop不是一朝一夕的事情此文档简略仅适用于初入门做了解使用,若想深入学习请使用《hadoop权威指南》
hadoop模块:
Hadoop Common:支持其他Hadoop模块的常用实用程序。
Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。
Hadoop YARN:作业调度和集群资源管理的框架。
Hadoop MapReduce:基于YARN的系统,用于并行处理大型数据集。(一种计算框架)
Hadoop Ozone: Hadoop的对象存储。(后来新增)
三种运行模式:
本地(独立)模式:
Hadoop配置为以非分布式模式运行,作为单个Java进程。这对调试很有用
伪分布式模式:
Hadoop还可以在伪分布式模式下在单节点上运行,其中每个Hadoop守护程序在单独的Java进程中运行
在一台机器上运行hdfs文件系统,运行mr程序,从hdfs上获取数据,结果存放到hdfs上
完全分布式模式:
运行在多台机器上,同时只有一个hdfs系统
10.12
hdfs体系结构(主、/从结构)
图参照官方文档
namenode:维护命名空间、保存元数据和用户对hdfs的操作、副本数等
管理文件系统命名空间的主服务器,和管理客户端对文件的访问组成,块到DataNode的映射
datanode: 存放实际数据(块)
连接到它们运行的节点的存储
提供来自文件系统客户端的读写请求
执行块的创建,删除
secondarynamenode:辅助namenode进行工作(检查点保存)
权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_42721694/article/details/85001434