Hadoop学习总结 (七) —— 生产调优

 

1、NameNode内存生产配置

（1）NameNode内存计算

每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？

128 * 1024 * 1024 * 1024  / 150Byte ≈  9.1亿

G    MB       KB  Byte

 

（2）Hadoop3.x系列，配置NameNode内存

1）hadoop-env.sh中描述Hadoop的内存是动态分配的

# The maximum amount of heap to use (Java -Xmx).  If no unit

# is provided, it will be converted to MB.  Daemons will

# prefer any Xmx setting in their respective _OPT variable.

# There is no default; the JVM will autoscale based upon machine

# memory size.

# export HADOOP_HEAPSIZE_MAX=

 

# The minimum amount of heap to use (Java -Xms).  If no unit

# is provided, it will be converted to MB.  Daemons will

# prefer any Xms setting in their respective _OPT variable.

# There is no default; the JVM will autoscale based upon machine

# memory size.

# export HADOOP_HEAPSIZE_MIN=

HADOOP_NAMENODE_OPTS=-Xmx102400m

 

经验参考

 

具体修改：hadoop-env.sh

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"

export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"

 

2、NameNode心跳并发配置

（1）hdfs-site.xml

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。

对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是10。

<property>

    <name>dfs.namenode.handler.count</name>

    <value>21</value>

</property>

企业经验：dfs.namenode.handler.count= ，比如集群规模（DataNode台数）为3台时，此参数设置为21。可通过简单的python代码计算该值，代码如下。

[atguigu@hadoop102 ~]$ sudo yum install -y python

[atguigu@hadoop102 ~]$ python

Python 2.7.5 (default, Apr 11 2018, 07:36:10)

[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>> import math

>>> print int(20*math.log(3))

21

>>> quit()

 

3、开启回收站配置

（1）回收站工作机制

 

（2）开启回收站功能参数说明

1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。

2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。

3）要求fs.trash.checkpoint.interval <= fs.trash.interval。

 

（3）启用回收站

修改core-site.xml，配置垃圾回收时间为1分钟。

<property>

    <name>fs.trash.interval</name>

    <value>1</value>

</property>

 

（4）查看回收站

回收站目录在HDFS集群中的路径：/user/atguigu/.Trash/….

 

（5）注意：通过网页上直接删除的文件也不会走回收站。

 

（6）通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站

Trash trash = New Trash(conf);

trash.moveToTrash(path);

 

（7）只有在命令行利用hadoop fs -rm命令删除的文件才会走回收站。

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /user/atguigu/input

2021-07-14 16:13:42,643 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop102:9820/user/atguigu/input' to trash at: hdfs://hadoop102:9820/user/atguigu/.Trash/Current/user/atguigu/input

 

（8）恢复回收站数据

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv

/user/atguigu/.Trash/Current/user/atguigu/input    /user/atguigu/input

 

4、集群压测

　　在企业中非常关心每天从Java后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从HDFS上拉取需要的数据？

　　为了搞清楚HDFS的读写性能，生产环境上非常需要对集群进行压测。

 

（1）测试HDFS写性能

 

测试内容：向HDFS集群写10个128M的文件

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

 

2021-02-09 10:43:16,853 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:             Date & time: Tue Feb 09 10:43:16 CST 2021

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:         Number of files: 10

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:  Total MBytes processed: 1280

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:       Throughput mb/sec: 1.61

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:  Average IO rate mb/sec: 1.9

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:   IO rate std deviation: 0.76

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:      Test exec time sec: 133.05

2021-02-09 10:43:16,854 INFO fs.TestDFSIO:

　　注意：nrFiles n为生成mapTask的数量，生产环境一般可通过hadoop103:8088查看CPU核数，设置为（CPU核数 -  1）

• Number of files：生成mapTask数量，一般是集群中（CPU核数-1），我们测试虚拟机就按照实际的物理内存-1分配即可
• Total MBytes processed：单个map处理的文件大小
• Throughput mb/sec:单个mapTak的吞吐量

　　计算方式：处理的总文件大小/每一个mapTask写数据的时间累加

　　集群整体吞吐量：生成mapTask数量*单个mapTak的吞吐量

• Average IO rate mb/sec::平均mapTak的吞吐量

计算方式：每个mapTask处理文件大小/每一个mapTask写数据的时间

     全部相加除以task数量

• IO rate std deviation:方差、反映各个mapTask处理的差值，越小越均衡

 

注意：如果测试过程中，出现异常

1）可以在yarn-site.xml中设置虚拟内存检测为false

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

<property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

</property>

2）分发配置并重启Yarn集群

 

测试结果分析

       1）由于副本1就在本地，所以该副本不参与测试

　

一共参与测试的文件：10个文件 * 2个副本 = 20个

压测后的速度：1.61

实测速度：1.61M/s * 20个文件 ≈ 32M/s

三台服务器的带宽：12.5 + 12.5 + 12.5 ≈ 30m/s

所有网络资源都已经用满。

如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘或者增加磁盘个数。

       2）如果客户端不在集群节点，那就三个副本都参与计算 

 

（2）测试HDFS读性能

测试内容：读取HDFS集群10个128M的文件

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

 

2021-02-09 11:34:15,847 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read

2021-02-09 11:34:15,847 INFO fs.TestDFSIO:             Date & time: Tue Feb 09 11:34:15 CST 2021

2021-02-09 11:34:15,847 INFO fs.TestDFSIO:         Number of files: 10

2021-02-09 11:34:15,847 INFO fs.TestDFSIO:  Total MBytes processed: 1280

2021-02-09 11:34:15,848 INFO fs.TestDFSIO:       Throughput mb/sec: 200.28

2021-02-09 11:34:15,848 INFO fs.TestDFSIO:  Average IO rate mb/sec: 266.74

2021-02-09 11:34:15,848 INFO fs.TestDFSIO:   IO rate std deviation: 143.12

2021-02-09 11:34:15,848 INFO fs.TestDFSIO:      Test exec time sec: 20.83

 

删除测试生成数据

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

 

测试结果分析：为什么读取文件速度大于网络带宽？由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。

 

5、HDFS多目录

NameNode多目录配置

（1）NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

 

（2）具体配置

1）在hdfs-site.xml文件中添加如下内容

<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>

 

2）停止集群，删除三台节点的data和logs中所有数据。

 rm -rf data/ logs/
 rm -rf data/ logs/
 rm -rf data/ logs/

 

3）格式化集群并启动

bin/hdfs namenode -format
sbin/start-dfs.sh

 

DataNode多目录配置

（1）DataNode可以配置成多个目录，每个目录存储的数据不一样（数据不是副本）

 

（2）具体配置

在hdfs-site.xml文件中添加如下内容

<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

 

6、集群数据均衡——磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。

（1）生成均衡计划（只有一块磁盘不会生成计划）

hdfs diskbalancer -plan hadoop103

（2）执行均衡计划

hdfs diskbalancer -execute hadoop103.plan.json

（3）查看当前均衡任务的执行情况

hdfs diskbalancer -query hadoop103

（4）取消均衡任务

hdfs diskbalancer -cancel hadoop103.plan.json

 

7、HDFS——集群扩容及缩容

（1）白名单

白名单：表示在白名单的主机IP地址可以，用来存储数据。

企业中：配置白名单，可以尽量防止黑客恶意访问攻击。

1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件

vim whitelist

hadoop102
hadoop103

 

touch blacklist

保持空即可

 

2）在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 白名单 -->
<property>
     <name>dfs.hosts</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

<!-- 黑名单 -->
<property>
     <name>dfs.hosts.exclude</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

 

3）分发配置白名单和hdfs-site.xml

xsync hdfs-site.xml whitelist

 

4）第一次添加白名单要重启集群，不是第一次则只用刷新NameNode

 

8、服役新服务器

（1）在hadoop100主机上再克隆一台hadoop105主机

（2）修改IP地址和主机名称

 vim /etc/sysconfig/network-scripts/ifcfg-ens33
 vim /etc/hostname

（3）拷贝hadoop102的/opt/module目录和/etc/profile.d/my_env.sh到hadoop105

[atguigu@hadoop102 opt]$ scp -r module/* atguigu@hadoop105:/opt/module/

[atguigu@hadoop102 opt]$ sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

[atguigu@hadoop105 hadoop-3.1.3]$ source /etc/profile

（4）删除hadoop105上Hadoop的历史数据，data和log数据

[atguigu@hadoop105 hadoop-3.1.3]$ rm -rf data/ logs/

（5）配置hadoop102和hadoop103到hadoop105的ssh无密登录

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop105

[atguigu@hadoop103 .ssh]$ ssh-copy-id hadoop105

（6）启动DataNode，关联到集群

[atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon start datanode
[atguigu@hadoop105 hadoop-3.1.3]$ yarn --daemon start nodemanager

 

9、服务器间数据均衡

（1）在企业开发中，如果经常在hadoop102和hadoop104上提交任务，且副本数为2，由于数据本地性原则，就会导致hadoop102和hadoop104数据过多，hadoop103存储的数据量小。

　　另一种情况，就是新服役的服务器数据量比较少，需要执行集群均衡命令。

 

（2）开启数据均衡命令

[atguigu@hadoop105 hadoop-3.1.3]$ sbin/start-balancer.sh -threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

 

（3）停止数据均衡命令

[atguigu@hadoop105 hadoop-3.1.3]$ sbin/stop-balancer.sh

注意：由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作，所以尽量不要在NameNode上执行start-balancer.sh，而是找一台比较空闲的机器。

 

10、黑名单退役服务器

黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。

企业中：配置黑名单，用来退役服务器。

（1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

 vim blacklist

添加如下主机名称（要退役的节点）

hadoop105

注意：如果白名单中没有配置，需要在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 黑名单 -->

<property>

     <name>dfs.hosts.exclude</name>

     <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>

</property>

（2）分发配置文件blacklist，hdfs-site.xml

xsync hdfs-site.xml blacklist

（3）第一次添加黑名单必须重启集群，不是第一次，只需要刷新NameNode节点即可

hdfs dfsadmin -refreshNodes

（4）检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

（5）等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

hdfs --daemon stop datanode
yarn --daemon stop nodemanager

 

6）如果数据不均衡，可以用命令实现集群的再平衡

sbin/start-balancer.sh -threshold 10

 

11、纠删码

（略）

 

12、异构存储（冷热数据分离）

异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。

 

 

 （1）SHELL操作

 

 

1）查看当前有哪些存储策略可以用

 hdfs storagepolicies -listPolicies

2）为指定路径（数据存储目录）设置指定的存储策略

hdfs storagepolicies -setStoragePolicy -path xxx -policy xxx

3）获取指定路径（数据存储目录或文件）的存储策略

hdfs storagepolicies -getStoragePolicy -path xxx

4）取消存储策略；执行改命令之后该目录或者文件，以其上级的目录为准，如果是根目录，那么就是HOT

hdfs storagepolicies -unsetStoragePolicy -path xxx

5）查看文件块的分布

bin/hdfs fsck xxx -files -blocks -locations

6）查看集群节点

hadoop dfsadmin -report

 

（2）配置文件

节点	存储类型分配
hadoop102	RAM_DISK，SSD
hadoop103	SSD，DISK
hadoop104	DISK，RAM_DISK
hadoop105	ARCHIVE
hadoop106	ARCHIVE

1）为hadoop102节点的hdfs-site.xml添加如下信息

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.storage.policy.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name> 
    <value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[RAM_DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/ram_disk</value>
</property>

 

2）为hadoop103节点的hdfs-site.xml添加如下信息

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.storage.policy.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

 

3）为hadoop104节点的hdfs-site.xml添加如下信息

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.storage.policy.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>[RAM_DISK]file:///opt/module/hdfsdata/ram_disk,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

 

4）为hadoop105节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>

</property>

 

5）为hadoop106节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>

</property>

 

（3）数据准备

1）启动集群

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

[atguigu@hadoop102 hadoop-3.1.3]$ myhadoop.sh start

 

2）并在HDFS上创建文件目录

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /hdfsdata

 

3）并将文件资料上传

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop-3.1.3/NOTICE.txt /hdfsdata

 

（4）测试

1）设定策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM/COLD/One_SSD/All_SSD/lazy_persist

2)手动转移文件块

hdfs mover /hdfsdata

3）查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

 

13、故障处理

（1）NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode

1）拷贝SecondaryNameNode中数据到原NameNode存储数据目录

scp -r atguigu@hadoop104:/opt/module/hadoop-3.1.3/data/dfs/namesecondary/* ./name/

2）重新启动NameNode

 hdfs --daemon start namenode

3）向集群上传一个文件

 

（2）集群安全模式&磁盘修复

1）安全模式：文件系统只接受读数据请求，而不接受删除、修改等变更请求

2）进入安全模式场景

• NameNode在加载镜像文件和编辑日志期间处于安全模式；
• NameNode再接收DataNode注册时，处于安全模式

 

3）退出安全模式条件

dfs.namenode.safemode.min.datanodes:最小可用datanode数量，默认0

dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比，默认0.999f。（只允许丢一个块）

dfs.namenode.safemode.extension:稳定时间，默认值30000毫秒，即30秒

 

4）基本语法

bin/hdfs dfsadmin -safemode get    （功能描述：查看安全模式状态）
bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
bin/hdfs dfsadmin -safemode leave    （功能描述：离开安全模式状态）
bin/hdfs dfsadmin -safemode wait    （功能描述：等待安全模式状态）

 

(3)磁盘数据块损坏，进入安全模式，如何处理

1）分别进入hadoop102、hadoop103、hadoop104的/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1015489500-192.168.10.102-1611909480872/current/finalized/subdir0/subdir0目录，统一删除某2个块信息

[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1015489500-192.168.10.102-1611909480872/current/finalized/subdir0/subdir0

[atguigu@hadoop102 subdir0]$ rm -rf blk_1073741847 blk_1073741847_1023.meta

[atguigu@hadoop102 subdir0]$ rm -rf blk_1073741865 blk_1073741865_1042.meta

 

2）重启集群

myhadoop.sh stop
myhadoop.sh start

 

14、慢磁盘监控

　　“慢磁盘”指的时写入数据非常慢的一类磁盘。其实慢性磁盘并不少见，当机器运行时间长了，上面跑的任务多了，磁盘的读写性能自然会退化，严重时就会出现写入数据延时的问题。

如何发现慢磁盘？

　　正常在HDFS上创建一个目录，只需要不到1s的时间。如果你发现创建目录超过1分钟及以上，而且这个现象并不是每次都有。只是偶尔慢了一下，就很有可能存在慢磁盘。

可以采用如下方法找出是哪块磁盘慢：

（1）通过心跳未联系时间。

一般出现慢磁盘现象，会影响到DataNode与NameNode之间的心跳。正常情况心跳时间间隔是3s。超过3s说明有异常。

 

（2）fio命令，测试磁盘的读写性能

1）顺序读测试

[atguigu@hadoop102 ~]# sudo yum install -y fio
[atguigu@hadoop102 ~]# sudo fio -filename=/home/atguigu/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r

Run status group 0 (all jobs):
   READ: bw=360MiB/s (378MB/s), 360MiB/s-360MiB/s (378MB/s-378MB/s), io=20.0GiB (21.5GB), run=56885-56885msec

结果显示，磁盘的总体顺序读速度为360MiB/s。

 

2）顺序写测试

[atguigu@hadoop102 ~]# sudo fio -filename=/home/atguigu/test.log -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w


Run status group 0 (all jobs):
  WRITE: bw=341MiB/s (357MB/s), 341MiB/s-341MiB/s (357MB/s-357MB/s), io=19.0GiB (21.4GB), run=60001-60001msec

结果显示，磁盘的总体顺序写速度为341MiB/s

 

3）随机写测试

[atguigu@hadoop102 ~]# sudo fio -filename=/home/atguigu/test.log -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw

Run status group 0 (all jobs):
  WRITE: bw=309MiB/s (324MB/s), 309MiB/s-309MiB/s (324MB/s-324MB/s), io=18.1GiB (19.4GB), run=60001-60001msec

结果显示，磁盘的总体随机写速度为309MiB/s。

 

4）混合随机读写

[atguigu@hadoop102 ~]# sudo fio -filename=/home/atguigu/test.log -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop

Run status group 0 (all jobs):
   READ: bw=220MiB/s (231MB/s), 220MiB/s-220MiB/s (231MB/s-231MB/s), io=12.9GiB (13.9GB), run=60001-60001msec
  WRITE: bw=94.6MiB/s (99.2MB/s), 94.6MiB/s-94.6MiB/s (99.2MB/s-99.2MB/s), io=5674MiB (5950MB), run=60001-60001msec

结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。

 

15、小文件归档

 

（1）HDFS存储小文件弊端

　　每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

 

（2）解决存储小文件办法之一

　　HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。

 

（3）实操

1）需要启动YARN进程

 start-yarn.sh

 

2）归档文件

　　把/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/output路径下。

 hadoop archive -archiveName input.har -p  /input   /output

 

3）查看归档

hadoop fs -ls /output/input.har
 hadoop fs -ls har:///output/input.har

 

4）解归档文件

hadoop fs -cp har:///output/input.har/*    /

 

16、MapReduce生产经验

（1）MapReduce跑得慢的原因

MapReduce程序效率的瓶颈在于两点：

1）计算机性能

CPU、内存、磁盘、网络

2）I/O操作优化

（1）数据倾斜

（2）Map运行时间太长，导致Reduce等待过久

（3）小文件过多

 

（2）常用调优参数

 

 

 

 

（3）数据倾斜问题

1）数据倾斜现象

　　数据频率倾斜——某一个区域的数据量要远远大于其他区域。

　　数据大小倾斜——部分记录的大小远远大于平均值。

 

2）减少倾斜的方法

（1）首先检查是否空值过多造成的数据倾斜

       生产环境，可以直接过滤掉空值；如果想保留空值，就自定义分区，将空值加随机数打散。最后再二次聚合。

（2）能在map阶段提前处理，最好先在Map阶段处理。如：Combiner、MapJoin

（3）设置多个reduce个数

 

17、Yarn生产经验

（1）调优参数列表

1）Resourcemanager相关

yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量

yarn.resourcemanager.scheduler.class   配置调度器

 

2）Nodemanager相关

yarn.nodemanager.resource.memory-mb                  NodeManager使用内存数

yarn.nodemanager.resource.system-reserved-memory-mb  NodeManager为系统保留多少内存，和上一个参数二者取一即可

 

yarn.nodemanager.resource.cpu-vcores   NodeManager使用CPU核数

yarn.nodemanager.resource.count-logical-processors-as-cores   是否将虚拟核数当作CPU核数

yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数，例如：4核8线程，该参数就应设为2

yarn.nodemanager.resource.detect-hardware-capabilities 是否让yarn自己检测硬件进行配置

 

yarn.nodemanager.pmem-check-enabled    是否开启物理内存检查限制container

yarn.nodemanager.vmem-check-enabled    是否开启虚拟内存检查限制container

yarn.nodemanager.vmem-pmem-ratio        虚拟内存物理内存比例

 

3）Container容器相关

yarn.scheduler.minimum-allocation-mb      容器最小内存

yarn.scheduler.maximum-allocation-mb      容器最大内存

yarn.scheduler.minimum-allocation-vcores   容器最小核数

yarn.scheduler.maximum-allocation-vcores   容器最大核数