CDH5.16.2离线安装（详细）

目录

01 Coudera Manager

02 环境准备

03 CM安装

---

01 Coudera Manager

• 概念：拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使集群安装从几天时间缩短到几个小时，运维人员从几十人降低到几人，极大的提高集群管理的效率
• 功能
  • 管理，对集群进行管理，如添加节点、删除节点
  • 监控，监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控
  • 诊断，对集群出现的问题进行诊断，对出现的问题给出建议解决方案
  • 集成，整合多种组件
• 架构
  • Server，集群主节点，负载软件安装、配置，启动和停止服务，管理服务运行的集群
  • Agent，从节点，安装在每台主机上，负责启动和停止的具体过程，配置和监控主机
  • Management Service，集成在集群中的管理工具，执行各种监控、报警、诊断功能
  • Database，存储必要的元数据信息，比如配置信息、监控信息
  • Cloudera Repository，CM提供的用于软件分发的仓库
  • Clients：与集群交互的客户端、可以使用控制台，也可以使用API

 

02 环境准备

• 三台虚拟机，内存8，2，2，硬盘40，20，20
• 配置ssh免密登录，所有节点，准备好集群分发脚本
• 安装JDK，配置环境变量，所有节点，在/etc/profile.d/目录下创建文件env.sh，将所有的环境变量都添加到这个文件
• 安装MySQL，主节点，多安装一个shared-compat，hue运行的依赖
• 关闭selinux，
  • 临时关闭：setenforce 0
  • 修改配置文件/etc/linux/config，将SELINUX=enforcing改为disabled
• 下载第三方依赖，所有节点

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

• 创建CM使用的数据库

## 集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
## hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
## oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
## hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

03 CM安装

• 下载
  • cm，https://archive.cloudera.com/cm5/cm/5/
  • cdh，https://archive.cloudera.com/cdh5/parcels/5.16/

注意：以下操作使用root用户

• 解压cm到/opt，tar -xvzf xxx -C /opt，有两个文件夹
  • cloudera
  • cm-5.16.2
• 拷贝parcel到cloudera/parcel-repo/下，是cm下载的库，将来cloudera server就会从这个文件夹查找安装包，提前下好了放进去就不用在线下载了，注意去掉sha1后面的1

mv CDH* /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/

• 创建cloudera-scm用户，所有节点

useradd --system --home=/opt/cm-5.16.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
 
## 参数解释
--system 创建系统用户
--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
--no-create-home 不创建用户的主目录
--comment 用户的描述信息
 
## cm默认的用户为cloudera-scm，创建此名称的用户是最简单的方法，安装完成后，自动使用此用户

• 修改/opt/cloudera、/opt/cm-5.16.2的所有者为cloudera-scm

chown -R cloudera-scm:cloudera-scm c*

• 配置cm agent，指定server主机

vim /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=localhost102

• 配置cm的数据库

## 拷贝mysql-connector到/usr/share/java/，这是java默认的jdbc文件夹
mkdir /usr/share/java/
cp mysql-connector-java-5.1.48-bin.jar /usr/shar/java/
mv mysql-connector-java-5.1.48-bin.jar mysql-connector-java.jar
 
## 在mysql中创建cm库，执行系统脚本
/opt/cm-5.16.2/share/cmf/schema/scm_prepa
re_database.sh mysql cm -hlocalhost102 -uroot -p999999 --scm-host
hadoop102 scm scm scm

注意修改jar包名称，去掉版本号-bin

• 分发cm

xsync /opt/cm-5.16.2

• 分发parcel-repo，也可以启动以后再分发
• 启动和关闭cm server和agent服务

## 启动server
/opt/cm-5.16.2/etc/init.d/cloudera-scm-server start
 
# 查看server的端口号
netstat -lntp
如果有7180，说明启动成功
 
## 启动agent，每个节点都启动
/opt/cm-5.16.2/etc/init.d/cloudera-scm-agent start

• 网页登录localhost102:7180，默认账户密码admin
  • 选择含impala的内核
  • 分配角色
    • datanode选所有主机
    • 2nn指定在104
    • rm指定在103
    • zk指定三个
  • 分配数据库
    • hive，root，999999
    • amon
    • oozie
    • hue

 

 

• 时间同步