cdh环境搭建

CDH环境搭建

一：准备三台虚拟机hadoop101，hadoop102，hadoop102

1、默认没有vim编辑器，可以执行命令进行安装(出现提示，输入y即可)

vim install vim

2、ip映射，打开hosts文件，新增三条与主机的映射关系（三台主机都要修改）

vim /etc/hosts
192.168.52.128 hadooop101 hadooop101
192.168.52.129 hadooop102 hadooop102
192.168.52.130 hadooop103 hadooop103

3、关闭禁用防火墙

关闭防火墙

systemctl stop firewalld.service

禁用防火墙

systemctl disable firewalld.service

查看当前状态(出现dead表示成功)

systemctl status firewalld.service

4、设置ssh免密登录

ssh hadoop101(进行ssh登录测试)

ssh-keygen

4个回车生成公钥、私钥

ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

5、集群时间同步

yum install ntpdate
ntpdate ntp5.aliyun.com

二、安装jdk

1、在hadoop101的/opt目录下创建software文件夹

mkdir -p software

2、上传oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm到software文件夹并安装

rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
vim /etc/profile
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
java -version

3、分发并source

scp -r /usr/java/ hadoop102:/usr/
scp -r /usr/java/ hadoop103:/usr/
scp /etc/profile hadoop102:/etc/
scp /etc/profile hadoop103:/etc/

4、hadoop102、hadoop103分别source，并查看jdk是否配置成功

三、安装mysql

1、卸载 mariadb

rpm -qa | grep -i mariadb
rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x86_64
rpm -qa | grep mysql

2、mysql安装
将mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar上传到软件安装目录，解压

tar -xvf mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar

3、安装

yum install mysql-community-{libs,client,common,server}-*.rpm

4、出现选项，输入y
启动mysql服务

systemctl start mysqld

5、更改MySQL服务的数据编码

vim /etc/my.cnf

6、最下面一行加入

character-set-server=utf8

7、重新启动服务

systemctl restart mysqld

8、显示mysql日志

cat /var/log/mysqld.log

9、查看mysql临时密码

grep -i "temporary password" /var/log/mysqld.log

10、登录mysql，用临时密码登录

mysql -uroot -p

11、然后输入密码
进入数据库后，更改密码，不然无法进行操作
更改密码前，先更改mysql密码安全级别，默认长度

set global validate_password_policy=0;
set global validate_password_length=4;

12、然后更改mysql密码

alter user root@localhost identified by '123456';

13、然后测试MySQL语句能否使用

show databases;

14、成功后输入：exit;退出mysql
然后重新登录，输入新密码，登录成功

重新登录mysql，设置客户端访问

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

15、使用mysql数据库

use mysql;

16、删除root用户的其他host

delete from user where host!='%';

17、刷新

flush privileges;

18、建库

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm1';
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

19、退出

四、cm安装

1、将mysql-connector-java-5.1.27-bin.jar上传到/usr/share/java路径下，并重命名

mkdir /usr/share/java
mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
scp -r /usr/share/java/ hadoop102:/usr/share/
scp -r /usr/share/java/ hadoop103:/usr/share/

2、创建cloudera-manager目录,存放cdh安装文件

mkdir /opt/cloudera-manager
cd /opt/software/
tar -zxvf cm6.3.1-redhat7.tar.gz
cd cm6.3.1/RPMS/x86_64/
mv cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
mv cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
mv cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
cd /opt/cloudera-manager/

3、安装cloudera-manager-daemons,安装完毕后会多出/opt/cloudera目录

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm 
cd ..
scp -r /opt/cloudera-manager/ hadoop102:/opt/
scp -r /opt/cloudera-manager/ hadoop103:/opt/

在hadoop102、hadoop103执行以下命令

cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

4、安装cloudera-manager-agent，在三台机器上执行以下命令

yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

5、安装agent的server节点，在三台机器修改以下配置

vim /etc/cloudera-scm-agent/config.ini
server_host=hadoop101

6、安装cloudera-manager-server，在第一台机执行即可

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

7、上传CDH包到parcel-repo

/opt/cloudera/parcel-repo
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

8、修改server的db.properties（第一台机）

vim /etc/cloudera-scm-server/db.properties 
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hadoop101:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL

9、启动server服务

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
systemctl start cloudera-scm-server

10、启动agent节点（三台机）

systemctl start cloudera-scm-agent

11、查看server启动日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

五、cm集群安装部署

1、接受条款和协议

2、集群安装

3、指定主机

4、选择CDH版本6.3.2

5、等待下载安装

6、检查网络性能，检查主机

注意：会出现红框中的问题，在三台机执行以下命令解决

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

出现Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30问题执行如下命令

sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf

7、群集设置

六、HDFS、YEAR、Zookeeper安装

1、选择自定义安装

2、分配节点

3、集群设置全部默认即可

4、自动启动进程

5、修改HDFS的权限检查配置

6、配置NameNode HA

命名

分配角色

审核更改

等待启动服务

7、配置Yarn HA

七、HIVE安装

1、添加服务

2、添加hive服务

3、将hive添加到cluster1

4、配置hive元数据

5、测试通过后继续

6、自动启动hive进程

八、spark安装

九、sqoop安装