快速指引(CDH6.3.2)
快速指引
简要介绍
本文使用Cloudera公司的Hadoop版本，由于官方镜像较慢，搭建私用yum源。 官方地址： https://archive.cloudera.com/cdh6 以及 https://archive.cloudera.com/cm6/ cdh使用6.3.2 cm使用 6.3.1
系统CentOS7
CentOS Linux release 7.7.1908 (Core) 以上用命令 cat /etc/redhat-release 查看 阿里云镜像 http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1908.iso
ssh免登录设置
不需要
增加主机名
修改 /etc/hosts 增加主机名
关闭防火墙和selinux
firewall-cmd --state 查看防火墙 systemctl stop firewalld.service 关闭防火墙 systemctl disable firewalld.service 永久关闭防火墙 修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）
手动时钟同步
关闭chrony服务 systemctl stop chronyd && systemctl disable chronyd 安装NTP服务 yum install ntp -y vi /etc/ntp.conf # 将时钟服务器更改为如下4个 server 0.cn.pool.ntp.org server 1.cn.pool.ntp.org server 2.cn.pool.ntp.org server 3.cn.pool.ntp.org 启动时间同步服务器 systemctl start ntpd
&& systemctl enable ntpd
&& ntpdate -u 0.cn.pool.ntp.org
&& hwclock --systohc
&& date
配置JDK环境
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera export PATH=$PATH:$JAVA_HOME/bin 使用 source /etc/profile 生效 使用 java -version 查看
本地安装（也可搭建yum源）
yum localinstall cloudera-manager-daemons cloudera-manager-server （管理节点） yum localinstall cloudera-manager-daemons cloudera-manager-agent （集群节点）
安装Cloudera Manager Server(主节点)
在 /opt/cloudera/parcel-repo 放置 parcel 文件 注意将 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 改为 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
配置mysql jdbc驱动
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz tar -zxvf mysql-connector-java-5.1.47.tar.gz mkdir -p /usr/share/java/ cp mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar
Mysql安装(主节点)
卸载系统自带 mariadb-lib [root@node1 java]# rpm -qa|grep mariadb mariadb-libs-5.5.44-2.el7.centos.x86_64 [root@node1 java]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 [root@node1 java]# rpm -qa|grep mariadb 安装 mysql 5.7 至于安装方法自行查找 // 初始化，执行生会在/var/log/mysqld.log生成随机密码 [root@node1 mysql]# mysqld --initialize [root@node1 log]# cat /var/log/mysqld.log 更改mysql数据库目录的所属用户及其所属组 chown mysql:mysql /var/lib/mysql -R 启动mysql：systemctl start mysqld.service 查看mysql：systemctl status mysqld.service
创建CDH所需要的数据库
服务名 数据库名 用户名 Cloudera Manager Server scm scm Activity Monitor amon amon Reports Manager rman rman Hue hue hue Hive Metastore Server metastore hive Sentry Server sentry sentry Cloudera Navigator Audit Server nav nav Cloudera Navigator Metadata Server navms navms CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'BigData@123'; GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'BigData@123'; GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'BigData@123'; GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'BigData@123'; FLUSH PRIVILEGES;
设置Cloudera Manager 数据库
mysql数据库与CM Server是同一台主机时命令为 /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root
####启动Cloudera Manager Server服务 systemctl start cloudera-scm-server tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log去监控服务启动状态。 Started Jetty server 说明启动成功了。
启动Cloudera Manager Server服务
打开浏览器，访问地址：http://主机IP:7180，默认账号和密码都为admin： 剩下的根据提示进行个性化安装即可。
