大数据框架之一——Hadoop学习第二天

Hadoop三大组件的介绍

1、yarn架构分析

• yarn：资源的调度和管理平台。

• 主从结构

  • 主节点，可以有2个：ResourceManager
  • 从节点，有很多个: NodeManager

• ResourceManager负责

  • 集群资源的分配与调度
  • MapReduce、Storm、Spark等应用，必须实现ApplicationMaster接口，才能被RM管理

• NodeManager负责

  • 单节点资源的管理（CPU+内存）

2、mapreduce架构分析

• mapreduce是依赖磁盘io的批处理计算模型。

• 主从结构

  • 主节点，只有一个: MRAppMaster
  • 从节点，就是具体的task

• MRAppMaster负责

  • 接收客户端提交的计算任务

• 实时处理和离线处理在Java代码中的解释

• 把计算任务分给NodeManager的Container中执行，即任务调度
  • Container是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）
  • Container由ApplicationMaster向ResourceManager申请的，由ResouceManager中的资源调度器异步分配给ApplicationMaster
  • Container的运行是由ApplicationMaster向资源所在的NodeManager发起的
• 监控Container中Task的执行情况
• Task负责：
  • 处理数据

• hadoop概念总结
  • 扩容能力(Scalable)：能可靠(reliably)地存储和处理PB级别的数据。如果数据量更大，存储不下了,再增加节点就可以了。
  • 成本低(Economical):可以通过普通机器组成的服务器集群来分发以及处理数据.这些服务器集群可达数千个节点。
  • 高效率(Efficient):通过分发计算程序,hadoop可以在数据所在节点上(本地)并行地(parallel)处理他们,这使得处理非常的迅速
  • 可靠性(Reliable):hadoop能够自动地维护数据的多份副本,并且在任务失败后能够自动地重新部署(redeploy)计算任务.

3、HDFS命令

对于HDFS命令形式有两种

​ hdfs dfs 开头 或者 hadoop fs 开头

• 上传

  # 上传文件或目录
  hdfs dfs -put 本地文件或目录  hdfs的文件或目录 
  hadoop fs -put 本地文件或目录  hdfs的文件或目录 
  

• 下载

  hdfs dfs -get  HDFS路径 本地路径
  

• 创建目录

  hdfs dfs -mkdir HDFS路径
  # 迭代创建多级目录
  hdfs dfs -mkdir -p HDFS路径 
  

• 查看路径中的文件或目录

  hdfs dfs -ls 路径
  # 标准化输出路径中的信息
  hdfs dfs -ls -h 路径 
  
  

• 文件内容

  # cat是不能进行查看压缩文件 
  hdfs dfs -cat HDFS路径
  # 从文件的末尾获取信息
  hdfs dfs -tail HDFS路径
  # 
  hdfs dfs -tail  -f 	HDFS路径 监听HDFS中的文件内容
  # text对于压缩文件中的文本信息可以进行查看 
  hdfs dfs -text HDFS路径  可以查看被Hadoop压缩的压缩文件
  

• 追加信息到文件中

  hdfs dfs -appendToFile 本地路径  HDFS中的路径
  hdfs dfs -appendToFile 
  

• 删除文件

  hdfs dfs -rm -r -f /output 
  hdfs dfs -rm -r -f -skipTrash /output 
  
  

• 移动文件

  hdfs dfs -mv HDFS中的路径 HDFS中的路径 
  

• 查看空间

  hdfs dfs -du -h /	查看指定目录下对应空间占用情况
  hdfs dfs -df      查看整个HDFS中空间使用情况 
  

• 复制

  hdfs dfs -cp 源路径 目标路径 
  

• 修改文件权限

  hdfs dfs -chmod 735 目标路径
  hdfs dfs -chmod -R 735  目标路径  迭代目录中所有内容给定权限
  # 4表示读 2表示写 1表示执行
  hdfs dfs -chmod 124 /output3 
  hdfs dfs -chmod -R 124 /output3
  

• 查看状态

  hdfs dfsadmin -report
  

HDFS详细学习

1、HDSFS架构-元数据

包含NameNode、DataNode、Secondary NameNode

1.1HDFS概述

• 什么是分布式文件系统
  • 1、数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。
  • 2、是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
  • 3、通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。
  • 4、容错。即使系统中有某些节点宕机，整体来说系统仍然可以持续运作而不会有数据损失【通过副本机制实现】。
• HDFS只是分布式文件管理系统中的一种，不适合小文件。
• 其架构如下图所示

1.2NameNode主节点

• NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
• 文件包括：
  • fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
  • edits:操作日志文件，namenode启动后一些新增元信息日志。
  • fstime:保存最近一次checkpoint的时间

1.3Secondary Namenode

SecondaryNameNode是用来帮助NameNode完成元数据信息合并，从角色上看属于NameNode的“秘书”

• 其工作流程如下

  • 1、secondary向NameNode发起Checkpoint请求
  • 2、secondary从namenode获得fsimage和edits
  • 3、secondary将fsimage载入内存，然后开始合并edits
  • 4、secondary将新的fsimage发回给namenode
  • 5、namenode用新的fsimage替换旧的fsimage

• 如下图

• Secondary NameNode的用处：

  • 由于NameNode负责的任务非常多，所以需要定义新的进程来完成合并工作。

• CheckPoint发起时机：

  • 1.fs.checkpoint.period 指定两次checkpoint的最大时间间隔，默认3600秒。
  • 2.fs.checkpoint.size 规定edits文件的最大值，一旦超过这个值则强制checkpoint，不管是否到达最大时间间隔默认大小是64M。

• HDFS中内存存储数据面临的问题

#edits文件和fsimage文件所在的路径
/usr/local/soft/hadoop-3.1.3/data/dfs/name/current

#找到最近时间生成的edits和fsimage文件
#通过转换命令查看最近生成的edits文件中的内容
hdfs oev -i edits_inprogress_0000000000000000145 -o edits.xml -p XML
vim edits.xml
#可以发现只有最近的部分信息

#通过转换命令查看最近生成的fsimage文件中的内容
hdfs oiv -i fsimage_0000000000000000144 -o fsimage.xml -p XML
#查看信息
vim fsimage.xml

• 具体的过程如下图

2、DataNode

2.1DataNode介绍

• DataNode作用？
  • 为整个集群提供真实文件数据的存储服务，同时管理本节点中所有Block块
• 什么是Block块？
  • 文件块（block）：
  • 最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。2.0以后HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block.可以在hdfs-site.xml中dfs.blocksize属性配置Block块

2.2副本机制

• 什么是副本机制？
  • HDFS中通过副本方式来保证数据的安全性，并且同一数据的副本是存储在不同节点当中。HDFS默认副本数是三个。可以在hdfs-site.xml的dfs.replication属性中配置对应数量
• 如下图

• 具体的解释

3、HDFS-API使用

• FileSysterm是使用java代码操作hdfs的api接口
• 文件操作
  • create 写文件

package com.Hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.net.URISyntaxException;

public class Demo08Create {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        /*
            TODO 可以创建一个流 写入数据到 HDFS中
         */
        // Configuration表示配置类
        Configuration entries = new Configuration();
        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");

        // TODO 创建HDFS目标路径的IO流
        FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/data/score.txt"));

        // TODO 创建IO流读取本地数据
        FileInputStream fileInputStream = new FileInputStream("hadoop/data/score.txt");
        byte[] bytes = new byte[100];
        int len = 0;
        while ((len = fileInputStream.read(bytes))!= -1){
            fsDataOutputStream.write(bytes,0,len);
            fsDataOutputStream.flush();
        }
        fsDataOutputStream.close();
        fileSystem.close();


        // TODO 修改hdfs中的副本数
        // TODO 方式1：对于配置信息可以在 Configuration中添加
//        entries.set("dfs.replication","1");
        // TODO 方式2：可以在resources目录中添加对应的配置文件

    }
}

• open 读取文件

package com.Hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;

public class Demo09Open {
    public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
        /*
            TODO 从HDFS中创建IO流写出数据到本地
         */
        Configuration entries = new Configuration();
        entries.set("fs.defaultFS","hdfs://master:9000");

        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");

        BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter("hadoop/data/words.txt"));

        // TODO 当文件不存在时如何进行提示判断
        FSDataInputStream open = fileSystem.open(new Path("/data/words.txt"));
//        String line = open.readLine();  // 过时
        // InputStreamReader 是一个转换流
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(open));


        String readLine = null;
        while ((readLine = bufferedReader.readLine())!=null){
            // 可以对一行数据进行写出到本地
            bufferedWriter.write(readLine);
            bufferedWriter.newLine();
        }

        bufferedReader.close();
        bufferedWriter.close();
    }
}

• delete 删除文件

package com.Hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Demo06Delete {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
        delete();
    }
    public static void delete() throws IOException, URISyntaxException, InterruptedException {
        // 没有设置用户信息
        Configuration entries = new Configuration();
        entries.set("fs.defaultFS","hdfs://master:9000");

        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");

//        fileSystem.delete(new Path("/api/1/2"));
        fileSystem.delete(new Path("/api"),true);

        fileSystem.close();
    }
}

• 目录操作
  • mkdirs 创建目录

package com.Hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Demo05MakeDir {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
        /*
            上传数据到HDFS中
         */
        mkdir();
    }
    public static void mkdir() throws IOException, URISyntaxException, InterruptedException {
        // 没有设置用户信息
        Configuration entries = new Configuration();
        entries.set("fs.defaultFS","hdfs://master:9000");

        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");

        fileSystem.mkdirs(new Path("/api"));
//        fileSystem.mkdirs(new Path("/api/1/2"));

        fileSystem.close();
    }
}

• delete 删除文件或目录
• listStatus 列出目录的内容
• getFileStatus 显示文件系统的目录和文件的元数据信息
• getFileBlockLocations 显示文件存储位置

package com.Hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Demo07Liststatus {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
        getBlockLocation();
    }

    public static void getBlockLocation() throws IOException, URISyntaxException, InterruptedException {
        // 没有设置用户信息
        Configuration entries = new Configuration();
        entries.set("fs.defaultFS","hdfs://master:9000");

        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");

        FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hadoop-3.1.3.tar.gz"));
        System.out.println("路径:"+fileStatus.getPath());
        System.out.println("长度:"+fileStatus.getLen());
        System.out.println("副本数:"+fileStatus.getReplication());


        /*
            获取一个文件的文件指定开始和结束的部分数据所在的Block块位置
            BlockLocation[] getFileBlockLocations(FileStatus file,
                    long start, long len)
         */
        BlockLocation[] fileBlockLocations = fileSystem.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
        for (BlockLocation fileBlockLocation : fileBlockLocations) {
            System.out.println("整个长度："+fileBlockLocation.getLength());
            System.out.println("偏移量，从文件的什么位置开始："+fileBlockLocation.getOffset());
            System.out.println("整个主机："+fileBlockLocation.getHosts());
            System.out.println("整个名称："+fileBlockLocation.getNames());

        }


        fileSystem.close();
    }

    //显示文件系统的目录和文件的元数据信息
    public static void getFileStatus() throws IOException, URISyntaxException, InterruptedException {
        // 没有设置用户信息
        Configuration entries = new Configuration();
        entries.set("fs.defaultFS","hdfs://master:9000");

        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");

        FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hadoop-3.1.3.tar.gz"));
        System.out.println("路径:"+fileStatus.getPath());
        System.out.println("长度:"+fileStatus.getLen());
        System.out.println("副本数:"+fileStatus.getReplication());


        fileSystem.close();
    }

    public static void listStatus() throws IOException, URISyntaxException, InterruptedException {
        // 没有设置用户信息
        Configuration entries = new Configuration();
        entries.set("fs.defaultFS","hdfs://master:9000");

        URI uri = new URI("hdfs://master:9000");
        FileSystem fileSystem = FileSystem.get(uri,entries,"root");


        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
        for (FileStatus fileStatus : fileStatuses) {
            if (fileStatus.isFile()) {
                long blockSize = fileStatus.getBlockSize();
                System.out.println(fileStatus.getPath());
                System.out.println("Block块大小:"+blockSize);
                System.out.println("长度:"+fileStatus.getLen());
            }else {
                System.out.println(fileStatus.getPath());
            }
        }


        fileSystem.close();
    }
}

4、RPC协议

• RPC为远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。
• RPC采用客户机(client)/服务器(server)模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。
• 如下图