Hadoop之HDFS基础

一。 HDFS概念

1.1 概念

HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.2 组成

1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。

2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

3）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

4）Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

1.3 HDFS 文件块大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

HDFS的块比磁盘的块大，其目的是为了最小化寻址开销，且传输一个由多个块组成的文件的时间取决于磁盘传输速率。

如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小实际为64MB，但是很多情况下HDFS使用128MB的块设置。

块的大小：10ms*100*100M/s = 100M

二。HFDS命令行操作

1）基本语法

hadoop fs 具体命令

2）参数大全

3）常用命令实操

（1）-help：输出这个命令参数

（2）-ls: 显示目录信息

（3）-mkdir：在hdfs上创建目录

hadoop fs -mkdir -p /aaa/bbb/cc/dd

（4）-moveFromLocal从本地剪切粘贴到hdfs

hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

（5）-moveToLocal：从hdfs剪切粘贴到本地

hadoop fs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt

（6）--appendToFile ：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile ./hello.txt /hello.txt

（7）-cat ：显示文件内容

hadoop fs -cat /hello.txt

（8）-tail：显示一个文件的末尾

hadoop fs -tail /weblog/access_log.1

（9）-text：以字符形式打印一个文件的内容

hadoop fs -text /weblog/access_log.1

（10）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 666 /hello.txt

hadoop fs -chown someuser:somegrp /hello.txt

（11）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

（12）-copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /aaa/jdk.tar.gz

（13）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

（14）-mv：在hdfs目录中移动文件

hadoop fs -mv /aaa/jdk.tar.gz /

（15）-get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /aaa/jdk.tar.gz

（16）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

（17）-put：等同于copyFromLocal

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

（18）-rm：删除文件或文件夹

hadoop fs -rm -r /aaa/bbb/

（19）-rmdir：删除空目录

hadoop fs -rmdir /aaa/bbb/ccc

（20）-df ：统计文件系统的可用空间信息

hadoop fs -df -h /

（21）-du统计文件夹的大小信息

hadoop fs -du -s -h /aaa/*

（22）-count：统计一个指定目录下的文件节点数量

hadoop fs -count /aaa/

（23）-setrep：设置hdfs中文件的副本数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz

这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。

三。HDFS客户端操作

3.1 一个完整的Java操作，在hdfs上创建目录

package com.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;

public class HDFSApp {
    public static final String HDFS_PATH ="hdfs://hadoop102:9000";

    Configuration configuration = null ;
    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("HDFSApp.setUp()");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration);
    }

    @After
    public void tearDown(){
        fileSystem = null;
        configuration = null;
        System.out.println("HDFSApp.tearDown()");
    }

    // 创建目录，不会覆盖已经存在的目录
    @Test
    public void mkdir() throws IOException {
        fileSystem.mkdirs(new Path("/hdfsApi/test"));
    }
}

可以查看到hdfs创建的目录

3.2 通过API操作HDFS

3.2.1 HDFS获取文件系统

1）详细代码

    @Test
    public void initHDFS() throws Exception{
        // 1 创建配置信息对象
        // new Configuration();的时候，它就会去加载jar包中的hdfs-default.xml
        // 然后再加载classpath下的hdfs-site.xml
        Configuration configuration = new Configuration();
        
        // 2 设置参数 
        // 参数优先级： 1、客户端代码中设置的值  2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
        //  configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
        configuration.set("dfs.replication", "3");
        
        // 3 获取文件系统
        FileSystem fs = FileSystem.get(configuration);
        
        // 4 打印文件系统
        System.out.println(fs.toString());
    }

2）将core-site.xml拷贝到项目的根目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
    </property>

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data/tmp</value>
    </property>
</configuration>

3.2.2 HDFS文件上传

    @Test
    public void putFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 创建要上传文件所在的本地路径
        Path src = new Path("e:/hello.txt");
        
        // 3 创建要上传到hdfs的目标路径
        Path dst = new Path("hdfs://hadoop102:9000/user/gh/hello.txt");
        
        // 4 拷贝文件
        fs.copyFromLocalFile(src, dst);
        fs.close();    
}

3.2.3 HDFS文件下载

@Test
public void getFileFromHDFS() throws Exception{
        
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
    
//    fs.copyToLocalFile(new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("d:/hello.txt"));
    // boolean delSrc 指是否将原文件删除
    // Path src 指要下载的文件路径
    // Path dst 指将文件下载到的路径
    // boolean useRawLocalFileSystem 是否开启文件效验
    // 2 下载文件
    fs.copyToLocalFile(false, new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("e:/hellocopy.txt"), true);
    fs.close();
}

3.2.4 HDFS目录创建

    @Test
    public void mkdirAtHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
        
        //2 创建目录
        fs.mkdirs(new Path("hdfs://hadoop102:9000/user/gh/output"));
    }

3.2.5 HDFS文件夹删除

    @Test
    public void deleteAtHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
        
        //2 删除文件夹 ，如果是非空文件夹，参数2必须给值true
        fs.delete(new Path("hdfs://hadoop102:9000/user/gh/output"), true);
    }

3.2.6 HDFS文件名更改

    @Test
    public void renameAtHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        //2 重命名文件或文件夹
        fs.rename(new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("hdfs://hadoop102:9000/user/gh/hellonihao.txt"));
    }

3.2.7 HDFS文件详情查看

@Test
public void readListFiles() throws Exception {
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
    // 思考：为什么返回迭代器，而不是List之类的容器
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

    while (listFiles.hasNext()) {
        LocatedFileStatus fileStatus = listFiles.next();
            
        System.out.println(fileStatus.getPath().getName());
        System.out.println(fileStatus.getBlockSize());
        System.out.println(fileStatus.getPermission());
        System.out.println(fileStatus.getLen());
            
        BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            
        for (BlockLocation bl : blockLocations) {
                
            System.out.println("block-offset:" + bl.getOffset());
                
            String[] hosts = bl.getHosts();
                
            for (String host : hosts) {
                System.out.println(host);
            }
        }
            
        System.out.println("----------------------------");
    }
    }

3.2.8 HDFS文件夹查看

@Test
public void findAtHDFS() throws Exception, IllegalArgumentException, IOException{
        
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
    // 2 获取查询路径下的文件状态信息
    FileStatus[] listStatus = fs.listStatus(new Path("/"));

    // 3 遍历所有文件状态
    for (FileStatus status : listStatus) {
        if (status.isFile()) {
            System.out.println("f--" + status.getPath().getName());
        } else {
            System.out.println("d--" + status.getPath().getName());
        }
    }
}

3.3 通过IO流操作HDFS

3.3.1 HDFS文件上传

    @Test
    public void putFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 创建输入流
        FileInputStream inStream = new FileInputStream(new File("e:/hello.txt"));
        
        // 3 获取输出路径
        String putFileName = "hdfs://hadoop102:9000/user/gh/hello1.txt";
        Path writePath = new Path(putFileName);

        // 4 创建输出流
        FSDataOutputStream outStream = fs.create(writePath);

        // 5 流对接
        try{
            IOUtils.copyBytes(inStream, outStream, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(inStream);
            IOUtils.closeStream(outStream);
        }
    }

3.3.2 HDFS文件下载

    @Test
    public void getFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 获取读取文件路径
        String filename = "hdfs://hadoop102:9000/user/gh/hello1.txt";
        
        // 3 创建读取path
        Path readPath = new Path(filename);
        
        // 4 创建输入流
        FSDataInputStream inStream = fs.open(readPath);
        
        // 5 流对接输出到控制台
        try{
            IOUtils.copyBytes(inStream, System.out, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(inStream);
        }
    }

3.3.3 定位文件读取

1）下载第一块

@Test
// 定位下载第一块内容
public void readFileSeek1() throws Exception {

    // 1 创建配置信息对象
    Configuration configuration = new Configuration();

    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "gh");

    // 2 获取输入流路径
    Path path = new Path("hdfs://hadoop102:9000/user/gh/tmp/hadoop.tar.gz");

    // 3 打开输入流
    FSDataInputStream fis = fs.open(path);

    // 4 创建输出流
    FileOutputStream fos = new FileOutputStream("e:/hadoop.tar.gz.part1");

    // 5 流对接
    byte[] buf = new byte[1024];
    for (int i = 0; i < 128 * 1024; i++) {
        fis.read(buf);
        fos.write(buf);
    }

    // 6 关闭流
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    }

2）下载第二块

    @Test
    // 定位下载第二块内容
    public void readFileSeek2() throws Exception{
        
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();

        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "gh");
        
        // 2 获取输入流路径
        Path path = new Path("hdfs://hadoop102:9000/user/gh/tmp/hadoop.tar.gz");
        
        // 3 打开输入流
        FSDataInputStream fis = fs.open(path);
        
        // 4 创建输出流
        FileOutputStream fos = new FileOutputStream("e:/hadoop.tar.gz.part2");
        
        // 5 定位偏移量（第二块的首位）
        fis.seek(1024 * 1024 * 128);
        
        // 6 流对接
        IOUtils.copyBytes(fis, fos, 1024);
        
        // 7 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    }

3）合并文件

在window命令窗口中执行

type hadoop.tar.gz.part2 >> hadoop.tar.gz.part1

四。HDFS的数据流

4.1 HDFS写数据流程

4.1.1 剖析文件写入

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

2）namenode返回是否可以上传。

3）客户端请求第一个 block上传到哪几个datanode服务器上。

4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。

5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成

6）dn1、dn2、dn3逐级应答客户端

7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答

8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）

4.1.2 网络拓扑概念

在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。

节点距离：两个节点到达最近的共同祖先的距离总和。

例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。

Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程）

Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）

Distance(/d1/r1/n1, /d1/r3/n2)=4（同一数据中心不同机架上的节点）

Distance(/d1/r1/n1, /d2/r4/n2)=6（不同数据中心的节点）

4.1.3 机架感知（副本节点选择）

1）官方ip地址：

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

2）低版本Hadoop1.x副本节点选择

第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

第二个副本和第一个副本位于不相同机架的随机节点上。

第三个副本和第二个副本位于相同机架，节点随机。

3）Hadoop2.x副本节点选择

第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

第二个副本和第一个副本位于相同机架，随机节点。

第三个副本位于不同机架，随机节点。

4.2 HDFS读数据流程

1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。

2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。

3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet(数据包)为单位来做校验）。

4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。

4.3 一致性模型

1）debug调试如下代码

@Test
    public void writeFile() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        fs = FileSystem.get(configuration);
        
        // 2 创建文件输出流
        Path path = new Path("hdfs://hadoop102:9000/user/gh/hello.txt");
        FSDataOutputStream fos = fs.create(path);
        
        // 3 写数据
        fos.write("hello".getBytes());
        // 4 一致性刷新
        fos.hflush();
        
        fos.close();
    }

2）总结

写入数据时，如果希望数据被其他client立即可见，调用如下方法

FsDataOutputStream. hflush (); //清理客户端缓冲区数据，被其他client立即可见

五。NameNode工作机制

5.1 NameNode&Secondary NameNode工作机制

1）第一阶段：namenode启动

（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求

（3）namenode记录操作日志，更新滚动日志。

（4）namenode在内存中对数据进行增删改查

2）第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。

（2）Secondary NameNode请求执行checkpoint。

（3）namenode滚动正在写的edits日志

（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件fsimage.chkpoint

（7）拷贝fsimage.chkpoint到namenode

（8）namenode将fsimage.chkpoint重新命名成fsimage

4）chkpoint检查时间参数设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。

[hdfs-default.xml]

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property>

5.2 镜像文件和编辑日志文件

1）概念

namenode被格式化之后，将在设置的存放目录 ---name/current目录中产生如下文件（hdfs-site.xml里面设置存放目录）

edits_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION

（1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。

（2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。

（3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字

（4）每次Namenode启动的时候都会将fsimage文件读入内存，并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。

2）oiv查看fsimage文件

（1）查看oiv和oev命令

hdfs

oiv apply the offline fsimage viewer to an fsimage

oev apply the offline edits viewer to an edits file

（2）基本语法

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

（3）案例

将显示的xml文件内容拷贝到idea或者eclipse中，并格式化。

3）oev查看edits文件

（1）基本语法

hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径

（2）案例

将显示的xml文件内容拷贝到idea或者eclipse中，并格式化。

5.3 滚动编辑日志

正常情况HDFS文件系统有更新操作时，就会滚动编辑日志。也可以用命令强制滚动编辑日志。

1）滚动编辑日志（前提必须启动集群）

hdfs dfsadmin -rollEdits

2）镜像文件什么时候产生

Namenode启动时加载镜像文件

5.4 namenode版本号

1）查看namenode版本号

在----/name/current这个目录下查看VERSION

2）namenode版本号具体解释

（1）namespaceID在HDFS上，会有多个Namenode，所以不同Namenode的namespaceID是不同的，分别管理一组blockpoolID。

（2）clusterID集群id，全局唯一

（3）cTime属性标记了namenode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。

（4）storageType属性说明该存储目录包含的是namenode的数据结构。

（5）blockpoolID：一个block pool id标识一个block pool，并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中，在后续的启动过程中，会再次load并使用。

（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

5.5 SecondaryNameNode目录结构

Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

在----/namesecondary/current这个目录中查看SecondaryNameNode目录结构。

SecondaryNameNode的namesecondary/current目录和主namenode的current目录的布局相同。

好处：在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。

方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录；

方法二：使用-importCheckpoint选项启动namenode守护进程，从而将SecondaryNameNode用作新的主namenode。

1）案例（一）：

模拟namenode故障，并采用方法一，恢复namenode数据。

（1）kill -9 namenode进程

（2）删除namenode存储的数据

（3）拷贝SecondaryNameNode中数据到原namenode存储数据目录

（4）重新启动namenode

可以查看到原来的数据被还原了

2）案例（二）：

模拟namenode故障，并采用方法二，恢复namenode数据。

首先需要在hdfs-site.xml中加入nameNode的存储路径。

    <property>
          <name>dfs.namenode.name.dir</name>
          <value>/data/hadoop/tmp/dfs/name</value>
    </property>

（1）kill -9 namenode进程

（2）删除namenode存储的数据

（3）如果SecondaryNameNode不和Namenode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到Namenode存储数据的平级目录。

（4）导入检查点数据（等待一会ctrl+c结束掉）

（5）启动namenode

（6）如果提示文件锁了，可以删除SecondaryNameNode存储目录里面的 in_use.lock

5.6 集群安全模式操作

1）概述

Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。

系统中的数据块的位置并不是由namenode维护的，而是以块列表的形式存储在datanode中。在系统的正常操作期间，namenode会在内存中保留所有块位置的映射信息。在安全模式下，各个datanode会向namenode发送最新的块列表信息，namenode了解到足够多的块位置信息之后，即可高效运行文件系统。

如果满足“最小副本条件”，namenode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以namenode不会进入安全模式。

2）基本语法

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

　　（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

　　（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

　　（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

　　（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

3）案例

　　模拟等待安全模式

　　1）先进入安全模式

　　2）执行下面的命令

　　3）在另一个窗口中对hdfs进行写操作

　　4）离开安全模式

5.7 Namenode多目录配置

1）namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。

2）具体配置如下：

　　hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

六。DataNode工作机制

6.1 DataNode工作机制

　　1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

　　2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。

　　3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。

　　4）集群运行中可以安全加入和退出一些机器

6.2 数据完整性

1）当DataNode读取block的时候，它会计算checksum

2）如果计算后的checksum，与block创建时值不一样，说明block已经损坏。

3）client读取其他DataNode上的block.

4）datanode在其文件创建后周期验证checksum

6.3 掉线时限参数设置

　　datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。

而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name> dfs.heartbeat.interval </name>
    <value>3</value>
</property>

6.4 DataNode的目录结构

　　和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。

　　1）在----/tmp/dfs/data/current这个目录下查看版本号

　　2）具体解释

　　（1）storageID：存储id号

　　（2）clusterID集群id，全局唯一

　　（3）cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。

　　（4）datanodeUuid：datanode的唯一识别码

　　（5）storageType：存储类型

　　（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

　　3）在-----tmp/dfs/data/current/BP-639183006-10.20.0.130-1555500554508/current这个目录下查看该数据块的版本号

　　4）具体解释

　　（1）namespaceID：是datanode首次访问namenode的时候从namenode处获取的storageID对每个datanode来说是唯一的（但对于单个datanode中所有存储目录来说则是相同的），namenode可用这个属性来区分不同datanode。

　　（2）cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。

　　（3）blockpoolID：一个block pool id标识一个block pool，并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中，在后续的启动过程中，会再次load并使用。

　　（4）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

6.5 服役新数据节点

0）需求：

　　在原有集群基础上动态添加新的数据节点。

　　略

6.6 退役旧数据节点

　　在原有集群基础上动态删除旧的数据节点。

　　略

6.7 Datanode多目录配置

1）datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。

2）具体配置如下：

hdfs-site.xml

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
    </property>

七。HDFS其他功能

7.1 集群间数据拷贝

1）scp实现两个远程主机之间的文件复制

scp -r hello.txt root@hadoop103:/hello.txt // 推 push

scp -r root@hadoop103:/hello.txt hello.txt // 拉 pull

scp -r root@hadoop103:/hello.txt root@hadoop104:/ //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

2）采用discp命令实现两个hadoop集群之间的递归数据复制

　　hadoop distcp hdfs://haoop102:9000/hello.txt hdfs://hadoop103:9000/hello.txt

7.2 Hadoop存档

1）理论概述

　　每个文件均按块存储，每个块的元数据存储在namenode的内存中，因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。但注意，存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如，一个1MB的文件以大小为128MB的块存储，使用的是1MB的磁盘空间，而不是128MB。

　　Hadoop存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少namenode内存使用的同时，允许对文件进行透明的访问。具体说来，Hadoop存档文件可以用作MapReduce的输入。

2）案例

（1）需要启动yarn进程

start-yarn.sh

（2）归档文件

归档成一个叫做xxx.har的文件夹，该文件夹下有相应的数据文件。Xx.har目录是一个整体，该目录看成是一个归档文件即可。

[root@master001 dfs]# hadoop archive -archiveName myhar.har -p /hdfsApi /my

（3）查看归档

（4）解归档文件

[root@master001 dfs]# hadoop fs -cp har:///my/myhar.har/* /ghh

7.3 快照管理

　　快照相当于对目录做一个备份。并不会立即复制所有文件，而是指向同一个文件。当写入发生时，才会产生新文件。