CDH02-安装

¶ 写在前面

上一篇，我们从零开始搭建好了ClouderaManager的安装环境。
接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。

¶ 一、创建集群并安装HDFS服务

安装步骤：选择功能授权版本 ->> 创建集群 ->> 为集群添加服务

¶ 1. 版本选择

¶ 1.1 使用默认用户名密码登录CM

用户名：admin
密码：admin

¶ 1.2 登录成功来到环境界面-继续

¶ 1.3 接受许可条款-继续

¶ 1.4 根据需要选择版本-继续

我们这里选择免费版
免费版的CDH功能足够小规模集群的使用
如需更大规模集群或Cloudera技术支持，可以考虑试用或购买企业版

¶ 2. 创建集群

¶ 2.1 欢迎页面-继续

¶ 2.2 设置集群名称-继续

一个ClouderaManager集群可以管理多个CDH集群，在这里我们先创建一个CDH集群，未来可以随时添加新的主机到集群中

¶ 2.3 扫描需要添加到新集群的主机

已经被其他集群管理的主机会显式受管状态为"是"，同一台主机不能同时加入两个集群。
卸载残留可能导致主机的受管状态为"是"，需要清理残留。

¶ 2.4 设置CM安装使用的本地yum源和使用的Parcel版本

yum源为上一篇中使用apache http搭建的服务
Parcel中包含CDH所有组件的安装包，Parcel版本于CDH版本一一对应这里使用之前下载好的CDH-6.3.2-1.cdh6.3.2.p0.1605554

¶ 2.5 勾选为CDH集群各个主机安装JDK

Cloudera要求使用CDH发行版本对应的JDK版本

¶ 2.6 设置集群SSH连接使用的用户名和密码

我们这里使用root用户进行安装。
CDH会在添加服务时自动为每一个服务单独创建用户。

¶ 2.7 自动安装jdk、cloudera-manager-daemons、cloudera-manager-agent

¶ 2.8 下载解压Parcels

¶ 2.9 性能测试和问题修复

¶ 2.9.1 交换分区阈值Linux swappiness参数(所有节点)

问题描述
Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：
解决方案：
为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）
查看

cd /usr/lib/tuned
grep "vm.swappiness" * -R

操作
临时修改

# 查看当前内核参数
sysctl vm.swappiness
# 临时修改
sysctl vm.swappiness=10
# 查看修改后内核参数
sysctl vm.swappiness

永久修改(重启后生效)

sed -i s/"vm.swappiness = 30"/"vm.swappiness = 10"/g  /usr/lib/tuned/virtual-guest/tuned.conf

¶ 2.9.2 禁用透明大页(所有节点)

问题描述
已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响:
解决方案：
查看：
查看透明大页的设置和启动状态

cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled

操作：
临时关闭

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久关闭
将临时关闭命令添加到/etc/rc.d/rc.local文件中，并赋予执行权限

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local