centos7通过CDH部署Hadoop

一、角色分配及安装环境准备

资料下载地址：

链接: 百度网盘

1.机器及机器角色规划

2.关闭防火墙及SELinux

3.安装依赖(server)

yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuseredhat-lsb-core  createrepo deltarpm python-deltarpm mod_ssl openssl-devel python-psycopg2 MySQL-python

4.配置hosts解析

192.168.1.136 hadoop01
192.168.1.137 hadoop02
192.168.1.138 hadoop03

5.配置Cloudera Manager yum仓库(server)

#服务端配置
yum install nginx -y
mkdir -p /usr/share/nginx/html/cm6/
mv *.rpm /usr/share/nginx/html/cm6/
createrepo -pdo /usr/share/nginx/html/cm6/ /usr/share/nginx/html/cm6/

vim /etc/nginx/nginx.conf
   root         /usr/share/nginx/html/cm6/;
   autoindex    on;

systemctl restart nginx
systemctl enable nginx


#客户端配置
vim /etc/yum.repos.d/cm.repo
[cm-repo]
name=cm
baseurl=http://192.168.1.136
gpgcheck=0
enabled=1

yum repolist 
cm-repo                                     cm                                                  6
yum list | grep cloudera

6.创建cloudera-scm用户(server)

useradd cloudera-scm
echo "cloudera-scm" |passwd --stdin cloudera-scm
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers

7.安装MySQL(集群内安装)

参考：https://www.cnblogs.com/panwenbin-logs/p/11425652.html

create database scm DEFAULT CHARACTER SET utf8;
grant all PRIVILEGES on *.* TO 'root'@'%' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'hadoop01' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
flush privileges;

8.所有节点安装jdk

yum install oracle-j2sdk1.8 -y  #不要自定义安装

二、安装CM Server及Agent服务

1.安装服务

yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

cp mysql-connector-java-5.1.40.jar /opt/cloudera/cm/lib 

/opt/cloudera/cm/schema/scm_prepare_database.sh -h 192.168.1.136 mysql scm root Qwer@123 # 主机 database类型 数据库名称 账号 密码 
cat /etc/cloudera-scm-server/db.properties #初始后保存连接的相关信息 
systemctl start cloudera-scm-server 
netstat -tnlp #7180端口

2.配置本地parcel包

#必须要在数据库初始化后执行
cp CDH-6.2.1-*  allkeys.asc /opt/cloudera/parcel-repo
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha   #删除结尾1

3.访问控制台

4.配置parcel

回到主页

 

修改更新频率为1分钟，默认1个小时

等待一分钟，确保出现torrent文件

5.创建集群

根据企业实际情况选择对应的版本，因为实验选择免费版本

定义集群名称

定义主机名称

 

 其他会自动安装

6.检查集群

 

 

7.修复问题

临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效：
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

8.新增主机

 

 其余步骤与上面类似，不在赘述

三、安装CM service服务

 1.CM service服务简介

可作为一组角色实施各种管理功能

1. Activity Monitor：收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色，实际生产环境也是不需要的。
2. Host Monitor：收集有关主机的运行状况和指标信息。
3. Service Monitor：从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。
4. Event Server：聚合组件的事件并将其用于警报和搜索。
5. Alert Publisher ：为特定类型的事件生成和提供警报，实际情况下用的也少。

2.创建服务所需的相关目录(server)

mkdir -p /var/lib/cloudera-host-monitor
mkdir /var/lib/cloudera-service-monitor

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/

3.安装

 

 安装，稍等一会查看是否有监控数据

四、安装HDFS服务 

定义相关配置默认即可

 所有步骤执行完成

优dfs.permissions化配置否则会因为权限问题不能再hdfs中创建目录和文件

 

 

 

 

手动测试写入数据 

 

 

 

 

没有问题，安装成功

五、安装YARN服务

 无特殊配置，参考上一步按提示填入对应的内容，其他默认即可

 验证

cd /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop-mapreduce/
hadoop jar  hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar pi 2 4

六、安装 Hive（选择带需要ZK）

1.数据中创建Hive库

2.拷贝mysql驱动

cp mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/hive/lib/

3.集群安装服务

验证

#验证
hive #执行命令
select from_unixtime(1583781807, 'yyyy-MM-dd');

#UI
http://hadoop01:10002/

 https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/introduction.html