搭建CDH大数据平台(CentOS7+CDH5.7)
集群环境:
集群架构:3台
node1-192.168.174.201 master datanode namenode
node2-192.168.174.202 datanode
node3-192.168.174.203 datanode
安装包准备:
cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz
mysql-connector-java-5.1.41-bin.jar
jdk-8u171-linux-x64.tar.gz
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1
manifest.json
基础环境配置
1.安装系统
查看系统发行版本
cat /etc/redhat-release
2.设置网络
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.174.201
NETMASK=255.255.255.0
GATEWAY=192.168.174.2
重启网络
/etc/init.d/network restart
ping www.baidu.com
连通表示正常
3.修改hostname
/etc/hostname
4.修改hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.174.201 node1
192.168.174.202 node2
192.168.174.203 node3
修改完后重启
5.安装上次下载工具lrzsz
yum install lrzsz
6.关闭防火墙和SELINUX
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
重启服务器使selinux的配置生效
reboot
查询状态
getenforce
sestatus -v
7. 安装NPT服务
yum -y install ntp
更改配置文件/etc/ntp.conf
在master节点namenode节点
注释掉原有的server指向把时间服务器的域名地址指向一个靠谱可连的时间服务器,我选择的是ntp.api.bz.
server ntp.api.gz iburst
在其余的节点上,把时间服务器的server指向master namenode节点
server 192.168.174.201 iburst
同步下时间
ntpdate -u cn.pool.ntp.org
所有节点重启下服务
systemctl start ntpd
systemctl enable ntpd
安装psmisc
yum -y install psmisc
8.配置SSH无密码登录
配置master namenode节点无密码登陆到其他节点
在master namenode节点:
ssh-keygen -t rsa
不输入密码,一路回车
ssh-copy-id 192.168.174.202
ssh-copy-id 192.168.174.203
最后ssh '192.168.174.202'测试连通性
9.安装JDK1.8
mkdir /usr/java/
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/
配置环境变量
vi /etc/profile
在最后面追加内容:
export JAVA_HOME=/usr/java/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使/etc/profile生效(使用hadoop账号)
source /etc/profile
检测安装是否成功
java -version
10.安装MySQL数据库
所有节点
mkdir /usr/share/java/
复制驱动jar包放到java目录下
cp mysql-connector-java-5.1.41-bin.jar /usr/share/java/mysql-connector-java.jar
master namenode节点
yum -y install mariadb-server
vi /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
character-set-server=utf8 \\添加的行
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
!includedir /etc/my.cnf.d
启动服务查看状态
systemctl start mariadb
systemctl enable mariadb
安全安装
mysql_secure_installation
一路yes(y)
数据库只是安装了一下,并没有做一些详细的配置。如果有需求可以另行配置。
创建数据库
mysql -uroot -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all on *.* to root@"%" Identified by "密码";
exit
安装CDH
tar zxvf cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz -C /opt/
Cloudera Manager需要外部的数据库存储一些元数据信息,配置信息,系统和任务的运行信息等。在PATH B的方式下,用户需要自己安装生产环境的数据库并配置成Cloudera Manager和Hive Metadata所使用的库。
当安装完数据库后,可以通过以下代码设置CM Server使用自定义的生产环境数据库
命令格式:scm_prepare_database.sh database-type [options] database-name username password
示例:/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
创建用户
所有节点
useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
制作本地源
master namenode节点执行
cp CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/
cd /opt/cloudera/parcel-repo/
mv CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha
更改配置
mkdir /opt/cm-5.7.0/run/cloudera-scm-agent
sed -i "s/server_host=localhost/server_host=192.168.174.201/" /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini
启动服务
master namenode节点
/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start
除了master namenode节点
scp -r 192.168.174.201:/opt/cm-5.7.0 /opt
所有节点
/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start
浏览页面开始安装
1)登陆
打开浏览器,访问maser namenode节点的7180端口
http://192.168.174.201:7180
输入用户名和密码admin、admin
-------------------------------------------------- 技术很菜却一直想做大牛!