CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置
相关文章链接
CentOS7安装CDH 第二章：CentOS7各个软件安装和启动
CentOS7安装CDH 第四章：CDH的版本选择和安装方式
CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0
CentOS7安装CDH 第六章：CDH的管理-CDH5.12
CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置
CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作
1. HDFS的HA配置
1、在HDFS的的服务中点击启动High Availability
2、设置NameService的名称
3、分配HDFS的HA所需要的角色
NameNode 主机:nn1 、nn2
JoumalNode 主机:nn1 、nn2 、dn1
4、审核更改(JournalNode的编辑目录)
5、安装必要的服务
6、安装服务过程中的一个error
此为正常现象，先前那个单节点是有数据的，所以不会格式化，所以报错。
7、安装完成
2. HDFS中的2个常用命令
1、hdfs haadmin命令
[root@i-bsbhj3uw ~]# hdfs haadmin
Usage: DFSHAAdmin [-ns <nameserviceId>]
[-transitionToActive <serviceId> [--forceactive]]
[-transitionToStandby <serviceId>]
[-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]
[-getServiceState <serviceId>]
[-checkHealth <serviceId>]
[-help <command>]
2、hdfs fsck命令
[hdfs@i-bsbhj3uw ~]$ hdfs fsck
Usage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]
<path> start checking from this path
-move move corrupted files to /lost+found
-delete delete corrupted files
-files print out files being checked
-openforwrite print out files opened for write
-includeSnapshots include snapshot data if the given path~
-list-corruptfileblocks print out list of missing blocks and files they belong to
-blocks print out block report
-locations print out locations for every block
-racks print out network topology for data-node locations
-blockId print out which file this blockId belongs to, locations (nodes, racks) ~
应用场景：当在上传文件到HDFS中时，碰到突然断电等突发操作，服务器重启后会发现hdfs启动不了，可以使用hdfs fsck命令查找到其中腐败的块。
然后使用hdfs fsck -delete /腐败的块的位置将该块删除，就可以重启HDFS了。
3. Yarn的HA配置
1、在HDFS的的服务中点击启动High Availability
2、选择Yarn高可用所需要的主机
3、安装Yarn高可用所需要的服务
4、Yarn高可用安装成功
4. Yarn中的常用命令
1、查看Yanr中所用正在运行的程序
yarn application -list
2、kill掉通过yarn提交的spark的实时程序
yarn application -kill application_1541073817208_0238
3、查看yarn中的一个程序的任务日志（有些日志只能这样查看，在web界面的log中显示不出来）
yarn logs -applicationId application_1541073817208_0677 |grep "查找的内容"
