CDH01-安装
CDH01-安装 | AmosCloud Wiki
¶ 写在前面
距离上一次写cdh集群搭建的文档已经一年多，今年2月份开始Cloudera全面下架了免费的安装包下载渠道，很多朋友在集群搭建的过程中按照之前的老文档遇到了一些问题。今天重新整理一次文档。
- Cloudera官网公告
- 未订阅授权的用户无法使用CDH6.3.3和之后的版本
-
所以我们继续使用CDH6.3.2版本进行集群搭建
-
需要使用的朋友可以先浏览CDH6.3.2对应的组件版本是否符合需求
| 组件 | 版本 | 发行版 | CDH 版本 |
|---|---|---|---|
| Flume NG | 1.9.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Hadoop | 3.0.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| HDFS | 3.0.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| HttpFS | 3.0.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| hadoop-kms | 3.0.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| MapReduce 2 | 3.0.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| YARN | 3.0.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| HBase | 2.1.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Lily HBase Indexer | 1.5+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Hive | 2.1.1+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| HCatalog | 2.1.1+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Hue | 4.2.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Impala | 3.2.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Kafka | 2.2.1+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| kudu | 1.10.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Oozie | 5.1.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Parquet | 1.9.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Pig | 0.17.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| sentry | 2.1.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Solr | 7.4.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| spark | 2.4.0+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| Sqoop | 1.4.7+cdh6.3.2 | 1605554 | CDH 6.3.2 |
| ZooKeeper | 3.4.5+cdh6.3.2 | 1605554 | CDH 6.3.2 |
¶ 一、环境准备
¶ 1.1 文件准备
-
因为使用离线安装的方式，请提前下载好需要用到的安装包
-
Cloudera官网下载需要访问带授权的链接，而国内访问Cloudera官网速度不稳定，所以我把安装文件上传到了网盘
-
百度网盘 链接：https://pan.baidu.com/s/1s17VEX0iTRTYJOtphGEQ1g (提取码：amos)
-
天翼云盘 链接：https://cloud.189.cn/t/eEZje2M3MNFf (访问码:shy7)
（电信用户可以用积分换会员） -
文件列表如下，共10个文件，其中MySQL服务的安装包和jdbc驱动jar包可替换为其他版本
| 文件名称 | 文件大小(字节) |
|---|---|
| allkeys.asc | 14,041 |
| CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | 2,082,186,246 |
| cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | 10,483,568 |
| cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | 1,203,832,464 |
| cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | 11,488 |
| cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm | 10,996 |
| enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm | 14,209,868 |
| mysql-8.0.18-linux-glibc2.12-x86_64.tar.xz | 503,854,832 |
| mysql-connector-java-8.0.18.jar | 2,330,539 |
| oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm | 184,988,341 |
¶ 1.2 服务器准备
¶ 1.2.1 关于集群规划
-
CDH集群相较于Apache开源版本，最大的优势在于Cloudera Manager强大便捷的集群管理服务，所以CM几乎是必装的，换句话说不装CM就没必要用CDH版本的Hadoop了。
-
但实测中，即使只启动了CM的必要服务，集群的整体资源占用已经达到了8GB
-
综上推荐使用如下架构
-
架构一：3台或以上，8G内存或以上。将cm的集群监控服务分散到多个节点
-
架构二：4台或以上，8G内存或以上。将cm的集群监控服务全部安装在一台节点
-
本例使用上述架构二
| 主机名 | CPU核心 | 物理内存 | 操作系统 | 服务 |
|---|---|---|---|---|
| node00 | 4 | 8GB | CentOS 7 | cm-server、cm-agent、其他cm监控服务 |
| node01 | 4 | 8GB | CentOS 7 | cm-agent、hadoop生态组件 |
| node02 | 4 | 8GB | CentOS 7 | cm-agent、hadoop生态组件 |
| node03 | 4 | 8GB | CentOS 7 | cm-agent、hadoop生态组件 |
¶ 1.2.2 服务器准备
- 学习和测试：
- VMWare、VirtualBox等虚拟机
- AWS、阿里云、华为云、腾讯云等云服务器
- 生产环境：
- 物理服务器
- AWS、阿里云、华为云、腾讯云等云服务器
-
学习环境如果自己电脑实在内存捉襟见肘，可以考虑阿里云或华为云的按量计费服务器，下图来自阿里云
-
按量计费：启动服务器时开始扣费，用完挂起，会以极低的费用保管数据，需要使用再次开机计费。
¶ 二、安装前的准备工作
¶ 2.1 配置主机名和映射
- ⚠ CDH需要使用IPv4地址，暂不支持IPv6
- ⚠ CDH建议使用FQDN，即带有全域名的主机名
- 例如：
# 普通hostname
node00
# FQDN（Fully Qualified Domain Name）
node00.cdh6.amoscloud.com
¶ 2.2.1 配置主机名
- 为每个机器单独配置自己的主机名
# 第一台机器执行
hostnamectl set-hostname node00.cdh6.amoscloud.com
# 第二台机器执行
hostnamectl set-hostname node01.cdh6.amoscloud.com
# 第三台机器执行
hostnamectl set-hostname node02.cdh6.amoscloud.com
# 第四台机器执行
hostnamectl set-hostname node03.cdh6.amoscloud.com
¶ 2.2.2 配置FQDN
- 为每个机器单独配置自己的FQDN
# 第一台机器执行
echo 'node00.cdh6.amoscloud.com' > /etc/sysconfig/network
# 第二台机器执行
echo 'node01.cdh6.amoscloud.com' > /etc/sysconfig/network
# 第三台机器执行
echo 'node02.cdh6.amoscloud.com' > /etc/sysconfig/network
# 第四台机器执行
echo 'node03.cdh6.amoscloud.com' > /etc/sysconfig/network
¶ 2.2.3 配置本地DNS映射
- 为每个机器配置/etc/hosts文件
# 每行格式为 ip FQDN hostname
echo -e "
192.168.222.100 node00.cdh6.amoscloud.com node00
192.168.222.101 node01.cdh6.amoscloud.com node01
192.168.222.102 node02.cdh6.amoscloud.com node02
192.168.222.103 node03.cdh6.amoscloud.com node03
" >> /etc/hosts
¶ 2.2 关闭防火墙
- ⚠ 每个节点都要完成以下操作
¶ 2.2.1 关闭防火墙服务
systemctl stop firewalld
¶ 2.2.2 禁用防火墙服务的开机启动
systemctl disable firewalld
- 执行结果
[root@node00 ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
¶ 2.2.3 检查防火墙服务状态
systemctl status firewalld
- 执行结果 确认 Active: inactive (dead)
[root@node00 ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
Active: inactive (dead)
Docs: man:firewalld(1)
3月 21 17:01:35 node00 systemd[1]: Starting firewalld - dynamic firewall daemon...
3月 21 17:01:36 node00 systemd[1]: Started firewalld - dynamic firewall daemon.
3月 21 17:01:37 node00 firewalld[795]: WARNING: AllowZoneDrifting is enabled. This is conside...now.
3月 21 20:37:33 node00 systemd[1]: Stopping firewalld - dynamic firewall daemon...
3月 21 20:37:35 node00 systemd[1]: Stopped firewalld - dynamic firewall daemon.
Hint: Some lines were ellipsized, use -l to show in full.
¶ 2.3 暂时关闭SELinux
-
SELinux是Security-Enhanced Linux的简称，是Linux的安全增强模式，CDH安装过程中需要关闭SELinux，Cloudera官网给出的说明是，理论上兼容SELinux，所以在集群搭建完毕后可以重新开启SELinux，如果出现不兼容现象，Cloudera不提供技术支持，需要联系操作系统发行商解决。
-
⚠ 每个节点都要完成以下操作
¶ 2.3.1 查看SELinux状态
getenforce
- 执行结果
[root@node00 ~]# getenforce
Enforcing
- 如果执行结果打印 Permissive 或者 Disabled ，可以直接跳过 2.3 步骤，如果和我一样是Enforcing继续操作
¶ 2.3.2 修改SELinux状态
- 将/etc/selinux/config中的SELINUX=enforcing 改为 SELINUX=permissive
- 使用sed直接替换
sed -i 's/SELINUX=enforcing/SELINUX=permissive/' /etc/selinux/config
- 上面的设置需要重启服务器后永久生效
¶ 2.3.3 临时修改SELinux状态
- 嫌重启麻烦也可以先临时关闭
setenforce 0
¶ 2.3.4 查看SELinux状态
getenforce
- 执行结果
[root@node00 ~]# getenforce
Permissive
¶ 2.4 时间同步
- CentOS 7 已经启用chronyd服务保证时间同步，不需要再安装ntpd
¶ 2.4.1 查看chronyd状态
systemctl status chronyd
- 执行结果 确认 Active: active (running)
[root@node00 ~]# systemctl status chronyd
● chronyd.service - NTP client/server
Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
Active: active (running) since 日 2021-03-21 17:01:35 CST; 4h 9min ago
Docs: man:chronyd(8)
man:chrony.conf(5)
Main PID: 745 (chronyd)
CGroup: /system.slice/chronyd.service
└─745 /usr/sbin/chronyd
3月 21 17:01:35 node00 systemd[1]: Starting NTP client/server...
3月 21 17:01:35 node00 chronyd[745]: chronyd version 3.4 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SIGND +ASYNCDNS +SECHASH +IPV6 +DEBUG)
3月 21 17:01:35 node00 chronyd[745]: Frequency 0.000 +/- 1000000.000 ppm read from /var/lib/chrony/drift
3月 21 17:01:35 node00 systemd[1]: Started NTP client/server.
3月 21 17:01:44 node00 chronyd[745]: Selected source 193.182.111.14
3月 21 17:01:51 node00 chronyd[745]: Can't synchronise: no selectable sources
3月 21 17:06:13 node00 chronyd[745]: Selected source 162.159.200.1
3月 21 17:07:19 node00 chronyd[745]: Selected source 193.182.111.14
¶ 2.5 搭建本地yum源
- 我这里选择把yum源配置在node00节点上
¶ 2.5.1 安装并启动Apache http
-
⚠ 在node00节点完成以下操作
-
安装Apache http
yum install -y httpd
- 启动Apache http
systemctl start httpd
- 设置自启动Apache http
systemctl enable httpd
¶ 2.5.2 上传安装文件
-
⚠ 在node00节点完成以下操作
-
创建安装文件http根目录
mkdir -p /var/www/html/cm6
- 上传安装文件到http根目录
- 上传后查看文件
ll /var/www/html/cm6
- 执行结果
allkeys.asc
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
¶ 2.5.3 创建yum仓库
- ⚠ 在node00节点完成以下操作
cd /var/www/html/cm6
yum install -y createrepo
createrepo .
¶ 2.5.4 配置yum仓库文件
- ⚠ 在所有节点完成以下操作
vim /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://node00/cm6
gpgcheck=0
enabled=1
autorefresh=0
type=rpm-md
¶ 2.5.5 更新仓库信息，确认本地yum源已被添加
yum clean all
yum makecache
- 执行结果
[root@node02 ~]# yum makecache
已加载插件：fastestmirror, langpacks
Determining fastest mirrors
* base: mirrors.163.com
* extras: mirrors.163.com
* updates: mirrors.163.com
base | 3.6 kB 00:00
cloudera-manager | 2.9 kB 00:00
extras | 2.9 kB 00:00
updates | 2.9 kB 00:00
(1/13): base/7/x86_64/group_gz | 153 kB 00:01
(2/13): cloudera-manager/filelists_db | 118 kB 00:01
(3/13): cloudera-manager/other_db | 1.0 kB 00:00
(4/13): cloudera-manager/primary_db | 8.6 kB 00:01
(5/13): extras/7/x86_64/filelists_db | 227 kB 00:01
(6/13): extras/7/x86_64/other_db | 136 kB 00:01
(7/13): extras/7/x86_64/primary_db | 227 kB 00:06
(8/13): updates/7/x86_64/filelists_db | 3.9 MB 00:06
(9/13): base/7/x86_64/primary_db | 6.1 MB 00:16
(10/13): updates/7/x86_64/other_db | 516 kB 00:08
(11/13): base/7/x86_64/other_db | 2.6 MB 00:24
(12/13): base/7/x86_64/filelists_db | 7.2 MB 00:27
(13/13): updates/7/x86_64/primary_db | 6.5 MB 00:56
元数据缓存已建立
¶ 2.6 安装Mysql
- 我这里选择把mysql安装在node00节点上
¶ 2.6.1 上传mysql安装包并使用脚本自动安装
-
⚠ 在node00节点完成以下操作
-
上传mysql安装包到node00任意目录
-
执行自动安装脚本(之前使用手动安装的方式，后来我把安装过程整理成了脚本)
#!/bin/bash
echo -e "\033[4;40;31m欢迎使用mysql离线安装自动化脚本 v1.0\033[0m"
echo -e "\033[4;40;31m作者:Amos QQ:410507803 E-Mail:amos@amoscloud.com\033[0m\n"
read -p "请输入mysql8的zx压缩包文件所在路径(eg:/opt/mysql8.xxx.xz):" FILE_PATH
read -p "请输入想要安装的目录(eg:/usr/local/mysql):" DEST_PATH
rpm -e --nodeps $(rpm -qa | grep mariadb)
echo -e "\033[40;32m (1/13)正在解压,请耐心等待解压过程约1-3分钟... \033[0m"
tar Jxf $FILE_PATH -C .
echo -e "\033[40;32m 解压完成 \033[0m"
echo -e "\033[40;32m (2/13)移动加压后的文件到$DEST_PATH \033[0m"
mv mysql-8*x86_64 $DEST_PATH
echo -e "\033[40;32m (3/13)添加环境变量$DEST_PATH \033[0m"
echo "export MYSQL_HOME=$DEST_PATH" >>/etc/profile
echo 'export PATH=.:$MYSQL_HOME/bin:$PATH' >>/etc/profile
source /etc/profile
echo -e "\033[40;32m (4/13)创建data目录 \033[0m"
mkdir $DEST_PATH/data
echo -e "\033[40;32m (5/13)创建my.cnf配置文件 \033[0m"
rm -rf /etc/my.cnf
echo "
[client]
port=3306
socket=/tmp/mysql.sock
[mysqld]
port=3306
user=mysql
socket=/tmp/mysql.sock
basedir=$DEST_PATH
datadir=$DEST_PATH/data
log-error=$DEST_PATH/error.log
pid-file = $DEST_PATH/mysql.pid
transaction_isolation = READ-COMMITTED
character-set-server = utf8
collation-server = utf8_general_ci
lower_case_table_names = 1
" > /etc/my.cnf
echo 'sql_mode = "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO"' >> /etc/my.cnf
echo -e "\033[40;32m (6/13)创建mysql组 \033[0m"
groupadd mysql
echo -e "\033[40;32m (7/13)创建mysql用户并加入mysql组 \033[0m"
useradd -g mysql mysql
echo -e "\033[40;32m (8/13)修改安装目录权限和所有者 \033[0m"
chown -R mysql:mysql $DEST_PATH
chmod -R 755 $DEST_PATH
echo -e "\033[40;32m (9/13)初始化mysql \033[0m"
$DEST_PATH/bin/mysqld --initialize --user=mysql
echo -e "\033[40;32m (10/13)尝试启动mysql \033[0m"
$DEST_PATH/support-files/mysql.server start
echo -e "\033[40;32m (11/13)将mysqld添加为服务并设置开机自启动 \033[0m"
cp $DEST_PATH/support-files/mysql.server /etc/init.d/mysqld
chmod 755 /etc/init.d/mysqld
chkconfig --add mysqld
chkconfig --level 345 mysqld on
echo -e "\033[40;32m (12/13)重启mysql \033[0m"
service mysqld restart
echo -e "\033[40;32m (13/13)读取临时密码 \033[0m"
TEMP_PW=$(cat $DEST_PATH/error.log | grep 'password' | awk -F' ' '{print $NF}')
echo -e "
\033[40;32m mysql的初始临时密码为:$TEMP_PW \033[0m
\033[40;32m 使用初始密码登录mysql后,您可以使用如下SQL修改初始密码: \033[0m
\033[40;33m ALTER user 'root'@'localhost' IDENTIFIED BY 'a123456'; \033[0m
\033[40;32m 使用如下SQL添加可远程访问的root用户: \033[0m
\033[40;33m CREATE USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'a123456'; \033[0m
\033[40;33m GRANT ALL ON *.* TO 'root'@'%'; \033[0m
\033[40;33m FLUSH PRIVILEGES; \033[0m
\033[40;32m 3秒后将使用初始密码登录mysql,感谢您的使用 \033[0m
"
sleep 3
mysql -uroot -p$TEMP_PW
- 执行脚本
[root@node02 ~]# bash mysql8intsaller.sh
欢迎使用mysql离线安装自动化脚本 v1.0
作者:Amos QQ:410507803 E-Mail:amos@amoscloud.com
请输入mysql8的zx压缩包文件所在路径(eg:/opt/mysql8.xxx.xz):mysql-8.0.18-linux-glibc2.12-x86_64.tar.xz
请输入想要安装的目录(eg:/usr/local/mysql):/usr/local/mysql
(1/13)正在解压,请耐心等待解压过程约1-3分钟...
解压完成
(2/13)移动加压后的文件到/usr/local/mysql
(3/13)添加环境变量/usr/local/mysql
(4/13)创建data目录
(5/13)创建my.cnf配置文件
(6/13)创建mysql组
(7/13)创建mysql用户并加入mysql组
(8/13)修改安装目录权限和所有者
(9/13)初始化mysql
(10/13)尝试启动mysql
Starting MySQL... SUCCESS!
(11/13)将mysqld添加为服务并设置开机自启动
(12/13)重启mysql
Shutting down MySQL.. SUCCESS!
Starting MySQL. SUCCESS!
(13/13)读取临时密码
mysql的初始临时密码为:r&0.jdCP%rok
使用初始密码登录mysql后,您可以使用如下SQL修改初始密码:
ALTER user 'root'@'localhost' IDENTIFIED BY 'a123456';
使用如下SQL添加可远程访问的root用户:
CREATE USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'a123456';
GRANT ALL ON *.* TO 'root'@'%';
FLUSH PRIVILEGES;
3秒后将使用初始密码登录mysql,感谢您的使用
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 8.0.18
Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
- 设置mysql的连接用户和密码
-- 使用初始密码登录mysql后,您可以使用如下SQL修改初始密码:
ALTER user 'root'@'localhost' IDENTIFIED BY '123456';
-- 使用如下SQL添加可远程访问的root用户:
CREATE USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
GRANT ALL ON *.* TO 'root'@'%';
FLUSH PRIVILEGES;
- 本例为了简单，将密码设置为123456,执行结果如下
mysql> ALTER user 'root'@'localhost' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.01 sec)
mysql> CREATE USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
Query OK, 0 rows affected (0.01 sec)
mysql> GRANT ALL ON *.* TO 'root'@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
¶ 2.6.1 上传mysql的jdbc驱动包
- ⚠ 在node00节点完成以下操作
- 重命名驱动包，并移动到httpd目录下，方便其他机器下载
mv mysql-connector-java-8.0.18.jar /var/www/html/cm6/mysql-connector-java.jar
-
⚠ 在所有节点完成以下操作
-
由于集群中有多个服务都需要使用mysql进行元数据的管理，所以这里我们将mysql的jdbc依赖提前为每一个节点都准备好依赖
# 递归创建目标目录
mkdir -p /usr/share/java
# 进入目录
cd /usr/share/java
# wget从node00上下载jar
wget http://node00/cm6/mysql-connector-java.jar
¶ 2.7 安装服务
¶ 2.7.1 所有节点安装JDK和cm-agent
-
⚠ 在所有节点完成以下操作
-
在所有节点安装
oracle-j2sdk1.8-1.8.0+update181-1.x86_64和cloudera-manager-agent -
执行安装
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y cloudera-manager-agent
- 执行结果
[root@node02 java]# yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
正在解决依赖关系
--> 正在检查事务
---> 软件包 oracle-j2sdk1.8.x86_64.0.1.8.0+update181-1 将被 安装
--> 解决依赖关系完成
依赖关系解决
======================================================================================================================
Package 架构 版本 源 大小
======================================================================================================================
正在安装:
oracle-j2sdk1.8 x86_64 1.8.0+update181-1 cloudera-manager 176 M
事务概要
======================================================================================================================
安装 1 软件包
总下载量：176 M
安装大小：364 M
Downloading packages:
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm | 176 MB 00:00:01
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
警告：RPM 数据库已被非 yum 程序修改。
** 发现 2 个已存在的 RPM 数据库问题， 'yum check' 输出如下：
2:postfix-2.10.1-9.el7.x86_64 有缺少的需求 libmysqlclient.so.18()(64bit)
2:postfix-2.10.1-9.el7.x86_64 有缺少的需求 libmysqlclient.so.18(libmysqlclient_18)(64bit)
正在安装 : oracle-j2sdk1.8-1.8.0+update181-1.x86_64 1/1
验证中 : oracle-j2sdk1.8-1.8.0+update181-1.x86_64 1/1
已安装:
oracle-j2sdk1.8.x86_64 0:1.8.0+update181-1
完毕！
[root@node02 java]# yum install -y cloudera-manager-agent
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
正在解决依赖关系
--> 正在检查事务
---> 软件包 cloudera-manager-agent.x86_64.0.6.3.1-1466458.el7 将被 安装
--> 正在处理依赖关系 cloudera-manager-daemons = 6.3.1，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 python-psycopg2，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 openssl-devel，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 mod_ssl，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 httpd，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 MySQL-python，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 /lib/lsb/init-functions，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 libpq.so.5()(64bit)，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在检查事务
---> 软件包 MySQL-python.x86_64.0.1.2.5-1.el7 将被 安装
--> 正在处理依赖关系 libmysqlclient.so.18(libmysqlclient_18)(64bit)，它被软件包 MySQL-python-1.2.5-1.el7.x86_64 需要
--> 正在处理依赖关系 libmysqlclient.so.18()(64bit)，它被软件包 MySQL-python-1.2.5-1.el7.x86_64 需要
---> 软件包 cloudera-manager-daemons.x86_64.0.6.3.1-1466458.el7 将被 安装
---> 软件包 httpd.x86_64.0.2.4.6-97.el7.centos 将被 安装
--> 正在处理依赖关系 httpd-tools = 2.4.6-97.el7.centos，它被软件包 httpd-2.4.6-97.el7.centos.x86_64 需要
--> 正在处理依赖关系 /etc/mime.types，它被软件包 httpd-2.4.6-97.el7.centos.x86_64 需要
--> 正在处理依赖关系 libaprutil-1.so.0()(64bit)，它被软件包 httpd-2.4.6-97.el7.centos.x86_64 需要
--> 正在处理依赖关系 libapr-1.so.0()(64bit)，它被软件包 httpd-2.4.6-97.el7.centos.x86_64 需要
---> 软件包 mod_ssl.x86_64.1.2.4.6-97.el7.centos 将被 安装
---> 软件包 openssl-devel.x86_64.1.1.0.2k-21.el7_9 将被 安装
--> 正在处理依赖关系 openssl-libs(x86-64) = 1:1.0.2k-21.el7_9，它被软件包 1:openssl-devel-1.0.2k-21.el7_9.x86_64 需要
--> 正在处理依赖关系 zlib-devel(x86-64)，它被软件包 1:openssl-devel-1.0.2k-21.el7_9.x86_64 需要
--> 正在处理依赖关系 krb5-devel(x86-64)，它被软件包 1:openssl-devel-1.0.2k-21.el7_9.x86_64 需要
---> 软件包 postgresql-libs.x86_64.0.9.2.24-4.el7_8 将被 安装
---> 软件包 python-psycopg2.x86_64.0.2.5.1-4.el7 将被 安装
---> 软件包 redhat-lsb-core.x86_64.0.4.1-27.el7.centos.1 将被 安装
--> 正在处理依赖关系 redhat-lsb-submod-security(x86-64) = 4.1-27.el7.centos.1，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 spax，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/patch，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/m4，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/lpr，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/lp，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在检查事务
---> 软件包 apr.x86_64.0.1.4.8-7.el7 将被 安装
---> 软件包 apr-util.x86_64.0.1.5.2-6.el7 将被 安装
---> 软件包 cups-client.x86_64.1.1.6.3-51.el7 将被 安装
--> 正在处理依赖关系 cups-libs(x86-64) = 1:1.6.3-51.el7，它被软件包 1:cups-client-1.6.3-51.el7.x86_64 需要
--> 正在处理依赖关系 libcups.so.2()(64bit)，它被软件包 1:cups-client-1.6.3-51.el7.x86_64 需要
---> 软件包 httpd-tools.x86_64.0.2.4.6-97.el7.centos 将被 安装
---> 软件包 krb5-devel.x86_64.0.1.15.1-50.el7 将被 安装
--> 正在处理依赖关系 libkadm5(x86-64) = 1.15.1-50.el7，它被软件包 krb5-devel-1.15.1-50.el7.x86_64 需要
--> 正在处理依赖关系 libverto-devel，它被软件包 krb5-devel-1.15.1-50.el7.x86_64 需要
--> 正在处理依赖关系 libselinux-devel，它被软件包 krb5-devel-1.15.1-50.el7.x86_64 需要
--> 正在处理依赖关系 libcom_err-devel，它被软件包 krb5-devel-1.15.1-50.el7.x86_64 需要
--> 正在处理依赖关系 keyutils-libs-devel，它被软件包 krb5-devel-1.15.1-50.el7.x86_64 需要
---> 软件包 m4.x86_64.0.1.4.16-10.el7 将被 安装
---> 软件包 mailcap.noarch.0.2.1.41-2.el7 将被 安装
---> 软件包 mariadb-libs.x86_64.1.5.5.68-1.el7 将被 安装
---> 软件包 openssl-libs.x86_64.1.1.0.2k-19.el7 将被 升级
--> 正在处理依赖关系 openssl-libs(x86-64) = 1:1.0.2k-19.el7，它被软件包 1:openssl-1.0.2k-19.el7.x86_64 需要
---> 软件包 openssl-libs.x86_64.1.1.0.2k-21.el7_9 将被 更新
---> 软件包 patch.x86_64.0.2.7.1-12.el7_7 将被 安装
---> 软件包 redhat-lsb-submod-security.x86_64.0.4.1-27.el7.centos.1 将被 安装
---> 软件包 spax.x86_64.0.1.5.2-13.el7 将被 安装
---> 软件包 zlib-devel.x86_64.0.1.2.7-19.el7_9 将被 安装
--> 正在处理依赖关系 zlib = 1.2.7-19.el7_9，它被软件包 zlib-devel-1.2.7-19.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 cups-libs.x86_64.1.1.6.3-51.el7 将被 安装
---> 软件包 keyutils-libs-devel.x86_64.0.1.5.8-3.el7 将被 安装
---> 软件包 libcom_err-devel.x86_64.0.1.42.9-19.el7 将被 安装
---> 软件包 libkadm5.x86_64.0.1.15.1-50.el7 将被 安装
---> 软件包 libselinux-devel.x86_64.0.2.5-15.el7 将被 安装
--> 正在处理依赖关系 libsepol-devel(x86-64) >= 2.5-10，它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要
--> 正在处理依赖关系 pkgconfig(libsepol)，它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要
--> 正在处理依赖关系 pkgconfig(libpcre)，它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要
---> 软件包 libverto-devel.x86_64.0.0.2.5-4.el7 将被 安装
---> 软件包 openssl.x86_64.1.1.0.2k-19.el7 将被 升级
---> 软件包 openssl.x86_64.1.1.0.2k-21.el7_9 将被 更新
---> 软件包 zlib.x86_64.0.1.2.7-18.el7 将被 升级
---> 软件包 zlib.x86_64.0.1.2.7-19.el7_9 将被 更新
--> 正在检查事务
---> 软件包 libsepol-devel.x86_64.0.2.5-10.el7 将被 安装
---> 软件包 pcre-devel.x86_64.0.8.32-17.el7 将被 安装
--> 解决依赖关系完成
依赖关系解决
======================================================================================================================
Package 架构 版本 源 大小
======================================================================================================================
正在安装:
cloudera-manager-agent x86_64 6.3.1-1466458.el7 cloudera-manager 10 M
为依赖而安装:
MySQL-python x86_64 1.2.5-1.el7 base 90 k
apr x86_64 1.4.8-7.el7 base 104 k
apr-util x86_64 1.5.2-6.el7 base 92 k
cloudera-manager-daemons x86_64 6.3.1-1466458.el7 cloudera-manager 1.1 G
cups-client x86_64 1:1.6.3-51.el7 base 153 k
cups-libs x86_64 1:1.6.3-51.el7 base 359 k
httpd x86_64 2.4.6-97.el7.centos updates 2.7 M
httpd-tools x86_64 2.4.6-97.el7.centos updates 93 k
keyutils-libs-devel x86_64 1.5.8-3.el7 base 37 k
krb5-devel x86_64 1.15.1-50.el7 base 273 k
libcom_err-devel x86_64 1.42.9-19.el7 base 32 k
libkadm5 x86_64 1.15.1-50.el7 base 179 k
libselinux-devel x86_64 2.5-15.el7 base 187 k
libsepol-devel x86_64 2.5-10.el7 base 77 k
libverto-devel x86_64 0.2.5-4.el7 base 12 k
m4 x86_64 1.4.16-10.el7 base 256 k
mailcap noarch 2.1.41-2.el7 base 31 k
mariadb-libs x86_64 1:5.5.68-1.el7 base 760 k
mod_ssl x86_64 1:2.4.6-97.el7.centos updates 114 k
openssl-devel x86_64 1:1.0.2k-21.el7_9 updates 1.5 M
patch x86_64 2.7.1-12.el7_7 base 111 k
pcre-devel x86_64 8.32-17.el7 base 480 k
postgresql-libs x86_64 9.2.24-4.el7_8 base 234 k
python-psycopg2 x86_64 2.5.1-4.el7 base 132 k
redhat-lsb-core x86_64 4.1-27.el7.centos.1 base 38 k
redhat-lsb-submod-security x86_64 4.1-27.el7.centos.1 base 15 k
spax x86_64 1.5.2-13.el7 base 260 k
zlib-devel x86_64 1.2.7-19.el7_9 updates 50 k
为依赖而更新:
openssl x86_64 1:1.0.2k-21.el7_9 updates 493 k
openssl-libs x86_64 1:1.0.2k-21.el7_9 updates 1.2 M
zlib x86_64 1.2.7-19.el7_9 updates 90 k
事务概要
======================================================================================================================
安装 1 软件包 (+28 依赖软件包)
升级 ( 3 依赖软件包)
总下载量：1.1 G
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
(1/32): cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | 10 MB 00:00:00
警告：/var/cache/yum/x86_64/7/base/packages/MySQL-python-1.2.5-1.el7.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID f4a80eb5: NOKEY
MySQL-python-1.2.5-1.el7.x86_64.rpm 的公钥尚未安装
(2/32): MySQL-python-1.2.5-1.el7.x86_64.rpm | 90 kB 00:00:00
(3/32): apr-1.4.8-7.el7.x86_64.rpm | 104 kB 00:00:00
(4/32): apr-util-1.5.2-6.el7.x86_64.rpm | 92 kB 00:00:00
(5/32): cups-libs-1.6.3-51.el7.x86_64.rpm | 359 kB 00:00:00
httpd-tools-2.4.6-97.el7.centos.x86_64.rpm 的公钥尚未安装
(6/32): httpd-tools-2.4.6-97.el7.centos.x86_64.rpm | 93 kB 00:00:00
(7/32): cups-client-1.6.3-51.el7.x86_64.rpm | 153 kB 00:00:00
(8/32): keyutils-libs-devel-1.5.8-3.el7.x86_64.rpm | 37 kB 00:00:00
(9/32): libcom_err-devel-1.42.9-19.el7.x86_64.rpm | 32 kB 00:00:00
(10/32): libkadm5-1.15.1-50.el7.x86_64.rpm | 179 kB 00:00:00
(11/32): libsepol-devel-2.5-10.el7.x86_64.rpm | 77 kB 00:00:00
(12/32): libverto-devel-0.2.5-4.el7.x86_64.rpm | 12 kB 00:00:00
(13/32): libselinux-devel-2.5-15.el7.x86_64.rpm | 187 kB 00:00:00
(14/32): m4-1.4.16-10.el7.x86_64.rpm | 256 kB 00:00:00
(15/32): mailcap-2.1.41-2.el7.noarch.rpm | 31 kB 00:00:00
(16/32): krb5-devel-1.15.1-50.el7.x86_64.rpm | 273 kB 00:00:00
(17/32): mod_ssl-2.4.6-97.el7.centos.x86_64.rpm | 114 kB 00:00:00
(18/32): mariadb-libs-5.5.68-1.el7.x86_64.rpm | 760 kB 00:00:00
(19/32): httpd-2.4.6-97.el7.centos.x86_64.rpm | 2.7 MB 00:00:01
(20/32): openssl-libs-1.0.2k-21.el7_9.x86_64.rpm | 1.2 MB 00:00:00
(21/32): openssl-devel-1.0.2k-21.el7_9.x86_64.rpm | 1.5 MB 00:00:00
(22/32): patch-2.7.1-12.el7_7.x86_64.rpm | 111 kB 00:00:00
(23/32): python-psycopg2-2.5.1-4.el7.x86_64.rpm | 132 kB 00:00:00
(24/32): openssl-1.0.2k-21.el7_9.x86_64.rpm | 493 kB 00:00:00
(25/32): redhat-lsb-core-4.1-27.el7.centos.1.x86_64.rpm | 38 kB 00:00:00
(26/32): postgresql-libs-9.2.24-4.el7_8.x86_64.rpm | 234 kB 00:00:00
(27/32): zlib-1.2.7-19.el7_9.x86_64.rpm | 90 kB 00:00:00
(28/32): zlib-devel-1.2.7-19.el7_9.x86_64.rpm | 50 kB 00:00:00
(29/32): spax-1.5.2-13.el7.x86_64.rpm | 260 kB 00:00:00
(30/32): redhat-lsb-submod-security-4.1-27.el7.centos.1.x86_64.rpm | 15 kB 00:00:00
(31/32): pcre-devel-8.32-17.el7.x86_64.rpm | 480 kB 00:00:00
(32/32): cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | 1.1 GB 00:00:27
----------------------------------------------------------------------------------------------------------------------
总计 42 MB/s | 1.1 GB 00:00:27
从 file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 检索密钥
导入 GPG key 0xF4A80EB5:
用户ID : "CentOS-7 Key (CentOS 7 Official Signing Key) <security@centos.org>"
指纹 : 6341 ab27 53d7 8a78 a7c2 7bb1 24c6 a8a7 f4a8 0eb5
软件包 : centos-release-7-9.2009.0.el7.centos.x86_64 (@anaconda)
来自 : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
正在更新 : zlib-1.2.7-19.el7_9.x86_64 1/35
正在更新 : 1:openssl-libs-1.0.2k-21.el7_9.x86_64 2/35
正在安装 : apr-1.4.8-7.el7.x86_64 3/35
正在安装 : apr-util-1.5.2-6.el7.x86_64 4/35
正在安装 : postgresql-libs-9.2.24-4.el7_8.x86_64 5/35
正在更新 : 1:openssl-1.0.2k-21.el7_9.x86_64 6/35
正在安装 : python-psycopg2-2.5.1-4.el7.x86_64 7/35
正在安装 : httpd-tools-2.4.6-97.el7.centos.x86_64 8/35
正在安装 : 1:cups-libs-1.6.3-51.el7.x86_64 9/35
正在安装 : 1:cups-client-1.6.3-51.el7.x86_64 10/35
正在安装 : 1:mariadb-libs-5.5.68-1.el7.x86_64 11/35
warning: /etc/my.cnf created as /etc/my.cnf.rpmnew
正在安装 : MySQL-python-1.2.5-1.el7.x86_64 12/35
正在安装 : zlib-devel-1.2.7-19.el7_9.x86_64 13/35
正在安装 : libcom_err-devel-1.42.9-19.el7.x86_64 14/35
正在安装 : spax-1.5.2-13.el7.x86_64 15/35
正在安装 : cloudera-manager-daemons-6.3.1-1466458.el7.x86_64 16/35
正在安装 : patch-2.7.1-12.el7_7.x86_64 17/35
正在安装 : libkadm5-1.15.1-50.el7.x86_64 18/35
正在安装 : libverto-devel-0.2.5-4.el7.x86_64 19/35
正在安装 : libsepol-devel-2.5-10.el7.x86_64 20/35
正在安装 : m4-1.4.16-10.el7.x86_64 21/35
正在安装 : pcre-devel-8.32-17.el7.x86_64 22/35
正在安装 : libselinux-devel-2.5-15.el7.x86_64 23/35
正在安装 : mailcap-2.1.41-2.el7.noarch 24/35
正在安装 : httpd-2.4.6-97.el7.centos.x86_64 25/35
正在安装 : 1:mod_ssl-2.4.6-97.el7.centos.x86_64 26/35
正在安装 : keyutils-libs-devel-1.5.8-3.el7.x86_64 27/35
正在安装 : krb5-devel-1.15.1-50.el7.x86_64 28/35
正在安装 : 1:openssl-devel-1.0.2k-21.el7_9.x86_64 29/35
正在安装 : redhat-lsb-submod-security-4.1-27.el7.centos.1.x86_64 30/35
正在安装 : redhat-lsb-core-4.1-27.el7.centos.1.x86_64 31/35
正在安装 : cloudera-manager-agent-6.3.1-1466458.el7.x86_64 32/35
Created symlink from /etc/systemd/system/multi-user.target.wants/cloudera-scm-agent.service to /usr/lib/systemd/system/cloudera-scm-agent.service.
Created symlink from /etc/systemd/system/multi-user.target.wants/supervisord.service to /usr/lib/systemd/system/supervisord.service.
清理 : 1:openssl-1.0.2k-19.el7.x86_64 33/35
清理 : 1:openssl-libs-1.0.2k-19.el7.x86_64 34/35
清理 : zlib-1.2.7-18.el7.x86_64 35/35
验证中 : libselinux-devel-2.5-15.el7.x86_64 1/35
验证中 : redhat-lsb-submod-security-4.1-27.el7.centos.1.x86_64 2/35
验证中 : keyutils-libs-devel-1.5.8-3.el7.x86_64 3/35
验证中 : mailcap-2.1.41-2.el7.noarch 4/35
验证中 : MySQL-python-1.2.5-1.el7.x86_64 5/35
验证中 : pcre-devel-8.32-17.el7.x86_64 6/35
验证中 : cloudera-manager-agent-6.3.1-1466458.el7.x86_64 7/35
验证中 : m4-1.4.16-10.el7.x86_64 8/35
验证中 : 1:cups-client-1.6.3-51.el7.x86_64 9/35
验证中 : 1:cups-libs-1.6.3-51.el7.x86_64 10/35
验证中 : libsepol-devel-2.5-10.el7.x86_64 11/35
验证中 : zlib-1.2.7-19.el7_9.x86_64 12/35
验证中 : libverto-devel-0.2.5-4.el7.x86_64 13/35
验证中 : apr-1.4.8-7.el7.x86_64 14/35
验证中 : httpd-2.4.6-97.el7.centos.x86_64 15/35
验证中 : postgresql-libs-9.2.24-4.el7_8.x86_64 16/35
验证中 : 1:openssl-1.0.2k-21.el7_9.x86_64 17/35
验证中 : libkadm5-1.15.1-50.el7.x86_64 18/35
验证中 : patch-2.7.1-12.el7_7.x86_64 19/35
验证中 : 1:mariadb-libs-5.5.68-1.el7.x86_64 20/35
验证中 : apr-util-1.5.2-6.el7.x86_64 21/35
验证中 : python-psycopg2-2.5.1-4.el7.x86_64 22/35
验证中 : zlib-devel-1.2.7-19.el7_9.x86_64 23/35
验证中 : httpd-tools-2.4.6-97.el7.centos.x86_64 24/35
验证中 : 1:openssl-libs-1.0.2k-21.el7_9.x86_64 25/35
验证中 : 1:openssl-devel-1.0.2k-21.el7_9.x86_64 26/35
验证中 : cloudera-manager-daemons-6.3.1-1466458.el7.x86_64 27/35
验证中 : krb5-devel-1.15.1-50.el7.x86_64 28/35
验证中 : spax-1.5.2-13.el7.x86_64 29/35
验证中 : 1:mod_ssl-2.4.6-97.el7.centos.x86_64 30/35
验证中 : libcom_err-devel-1.42.9-19.el7.x86_64 31/35
验证中 : redhat-lsb-core-4.1-27.el7.centos.1.x86_64 32/35
验证中 : zlib-1.2.7-18.el7.x86_64 33/35
验证中 : 1:openssl-1.0.2k-19.el7.x86_64 34/35
验证中 : 1:openssl-libs-1.0.2k-19.el7.x86_64 35/35
已安装:
cloudera-manager-agent.x86_64 0:6.3.1-1466458.el7
作为依赖被安装:
MySQL-python.x86_64 0:1.2.5-1.el7 apr.x86_64 0:1.4.8-7.el7
apr-util.x86_64 0:1.5.2-6.el7 cloudera-manager-daemons.x86_64 0:6.3.1-1466458.el7
cups-client.x86_64 1:1.6.3-51.el7 cups-libs.x86_64 1:1.6.3-51.el7
httpd.x86_64 0:2.4.6-97.el7.centos httpd-tools.x86_64 0:2.4.6-97.el7.centos
keyutils-libs-devel.x86_64 0:1.5.8-3.el7 krb5-devel.x86_64 0:1.15.1-50.el7
libcom_err-devel.x86_64 0:1.42.9-19.el7 libkadm5.x86_64 0:1.15.1-50.el7
libselinux-devel.x86_64 0:2.5-15.el7 libsepol-devel.x86_64 0:2.5-10.el7
libverto-devel.x86_64 0:0.2.5-4.el7 m4.x86_64 0:1.4.16-10.el7
mailcap.noarch 0:2.1.41-2.el7 mariadb-libs.x86_64 1:5.5.68-1.el7
mod_ssl.x86_64 1:2.4.6-97.el7.centos openssl-devel.x86_64 1:1.0.2k-21.el7_9
patch.x86_64 0:2.7.1-12.el7_7 pcre-devel.x86_64 0:8.32-17.el7
postgresql-libs.x86_64 0:9.2.24-4.el7_8 python-psycopg2.x86_64 0:2.5.1-4.el7
redhat-lsb-core.x86_64 0:4.1-27.el7.centos.1 redhat-lsb-submod-security.x86_64 0:4.1-27.el7.centos.1
spax.x86_64 0:1.5.2-13.el7 zlib-devel.x86_64 0:1.2.7-19.el7_9
作为依赖被升级:
openssl.x86_64 1:1.0.2k-21.el7_9 openssl-libs.x86_64 1:1.0.2k-21.el7_9 zlib.x86_64 0:1.2.7-19.el7_9
完毕！
¶ 2.7.2 管理节点安装cm-server
-
⚠ 在node00节点完成以下操作
-
在cm的管理节点安装
cloudera-manager-server -
执行安装
yum install -y cloudera-manager-server
- 执行结果
[root@node02 java]# yum install -y cloudera-manager-server
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
软件包 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64 已安装并且是最新版本
正在解决依赖关系
--> 正在检查事务
---> 软件包 cloudera-manager-server.x86_64.0.6.3.1-1466458.el7 将被 安装
--> 解决依赖关系完成
依赖关系解决
======================================================================================================================
Package 架构 版本 源 大小
======================================================================================================================
正在安装:
cloudera-manager-server x86_64 6.3.1-1466458.el7 cloudera-manager 11 k
事务概要
======================================================================================================================
安装 1 软件包
总下载量：11 k
安装大小：14 k
Downloading packages:
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | 11 kB 00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
正在安装 : cloudera-manager-server-6.3.1-1466458.el7.x86_64 1/1
验证中 : cloudera-manager-server-6.3.1-1466458.el7.x86_64 1/1
已安装:
cloudera-manager-server.x86_64 0:6.3.1-1466458.el7
完毕！
-
cloudera-manager-server安装完毕后，会自动创建/opt/cloudera/parcel-repo目录 -
将之前下载好的CDH安装包
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel上传到/opt/cloudera/parcel-repo目录 -
上传完成后计算校验和
cd /opt/cloudera/parcel-repo
sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
- 执行结果
[root@node00 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@node00 parcel-repo]# ls
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
[root@node00 parcel-repo]# sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
[root@node00 parcel-repo]# ls
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
¶ 2.8 初始化cloudera-manager-server
¶ 2.8.1 在mysql中为CMServer创建数据库
- ⚠ 在node00节点完成以下操作
mysql -uroot -p123456
create database cmserver character set 'utf8';
show databases;
exit
- 执行结果
[root@node00 parcel-repo]# mysql -uroot -p123456
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 17
Server version: 8.0.18 MySQL Community Server - GPL
Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> create database cmserver character set 'utf8';
Query OK, 1 row affected, 1 warning (0.03 sec)
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| cmserver |
| information_schema |
| mysql |
| performance_schema |
| sys |
+--------------------+
5 rows in set (0.06 sec)
mysql> exit
Bye
¶ 2.8.2 执行CM初始化脚本
- ⚠ 在node00节点完成以下操作
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root 123456
- 执行结果
[root@node00 parcel-repo]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root 123456
JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing: /usr/java/jdk1.8.0_181-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
[ main] DbCommandExecutor INFO Successfully connected to database.
All done, your SCM database is configured correctly!
¶ 2.8.3 启动cm-server服务
-
⚠ 在node00节点完成以下操作
-
启动cm-server服务
systemctl start cloudera-scm-server.service
- 查看服务运行状态
systemctl status cloudera-scm-server.service
[root@node00 parcel-repo]# systemctl start cloudera-scm-server.service
[root@node00 parcel-repo]# systemctl status cloudera-scm-server.service
● cloudera-scm-server.service - Cloudera CM Server Service
Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
Active: active (running) since 三 2021-04-07 06:09:20 CST; 4s ago
Process: 92235 ExecStartPre=/opt/cloudera/cm/bin/cm-server-pre (code=exited, status=0/SUCCESS)
Main PID: 92238 (java)
Tasks: 24
CGroup: /system.slice/cloudera-scm-server.service
└─92238 /usr/java/jdk1.8.0_181-cloudera/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/sha...
4月 07 06:09:20 node00 systemd[1]: Starting Cloudera CM Server Service...
4月 07 06:09:20 node00 systemd[1]: Started Cloudera CM Server Service.
4月 07 06:09:20 node00 cm-server[92238]: JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
4月 07 06:09:21 node00 cm-server[92238]: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSi...n 8.0
4月 07 06:09:21 node00 cm-server[92238]: ERROR StatusLogger No log4j2 configuration file found. Using default...ging.
4月 07 06:09:23 node00 cm-server[92238]: Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new d...sary.
Hint: Some lines were ellipsized, use -l to show in full.
-
通过端口监听检查服务启动情况
-
cm-server默认使用7180端口进行访问
netstat -anp| grep 7180
- 查看到端口已经正常服务，打开浏览器进入 node00:7180 (需要配置主机名映射，或者使用ip访问)
[root@node00 parcel-repo]# netstat -anp| grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 92238/java
¶ 2.8.4 访问ClouderaManagerWebUI
-
如果一切顺利，那么恭喜你已经进入上图的页面，别着急，CDH的Hadoop生态集群搭建才刚刚开始...
-
感谢您的阅读
转载于：https://wiki.amoscloud.com/zh/Bigdata/BigdataPlatform/Cloudera-CDH/CDH-Setup
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布：重大改进与新特性概览！
· 单线程的Redis速度为什么快？
· 展开说说关于C#中ORM框架的用法！
· Pantheons：用 TypeScript 打造主流大模型对话的一站式集成库