Hadoop总结：

Hadoop是什么？

1. 狭义上：

                HDFS：分布式文件存储系统

                MapReduce：分布式计算框架

                YARN：资源管理任务调度

1. 广义上：

                特指apache一款由java开发，开源的大户数据处理平台软件

                hadoop生态圈，提供大数据一站式解决方案，大数据软件几乎都有！

 

hadoop 的发展：

Google三篇论文  之父--cutting(卡大爷)

 

hadoop集群的搭建：

Hadoop集群介绍：

发行版本：

        社区版：apache官方版

        商业版：cloudera---CDH

版本演化：

           1.x--2.x(高阶版本)---3.x

 

hadoop集群:【都是标准的主从集群   逻辑上分离 物理上在一起】

        hdfs集群(解决分布式文件存储问题)：

                           主角色：namenode

                          从角色：detanode

                          主角是辅助角色：secondarynamenode

 

        yarn集群（资源调度任务管理）：

                           主角是：resourcemanager

                           从角色：nodemanager

             

        MR集群（其实没有）：

                           是在代码层面组件，本身就是java程序

 

1:服务器环境准备

             时间同步 防火墙 免密登录 hosts映射 jdk

2:安装包编译

 2.1:为什么要编译

•   官方只提供源码包 需要自己编译
•   软件运行某些特性跟操作系统相关 结合具体操作系统编译符合它版本的软件
•   修改源码中某些属性

3:安装包目录结构

 基本管理脚本目录------------bin

 启动关闭脚本-----------------sbin

 配置文件目录-------------------etc

 编译后jar 官方自带示例----share

 

4:配置文件

 shell脚本---------hadoop-env.sh 导入java_home

 xml文件------------core hdfs mapred yarn---site.xml（用户自定义配置文件） xxx---default.xml（默认配置文件）

 slaves-------------配合脚本一键启动 hosts白名单机制

5:namenode format

 首次启动hdfs 只能一次 namenode所在机器上  

  hadoop namenode -format

 初始化操作 创建hadoop工作相关目录和文件

6:hadoop集群启动

 单节点逐个启动

hadoop-daemon.sh start|stop 进程名字 

yarn-daemon.sh start|stop 进程名字

 脚本一键启动

  免密登录 slaves

                 start-dfs.sh   

                 start-yarn.sh     

                 start-all.sh  

7:web ui

 hdfs namenode 50070

 yarn resourcemanager 8088

 

hadoop功能：

jobhistory:查看已经运行历史的job程序

hdfs垃圾回收机制：

                        开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除

 

 

如何模拟实现分布式文件系统：

分布式：

元数据管理：

分块存储：

副本机制：

抽象目录树结构：    

画图介绍：