CDH-slave安装部署

CDH slave 安装文档

集群安装的依赖软件

1、JDK的安装包
2、MYSQL的安装包
3、CDH相关安装包
4、虚拟机准备

 

约定:
1,本教程中的软件版本可能与读者的版本不一致,请注意自行修改
2,针对LINUX系统版本为 Centos 7
3,不要使用拷贝ppt代码,后果自负

JDK的安装

1,查看本地是否存在JDK,执行SHELL命令 java –version

Centos可能包含如下信息
java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13) OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)

2,如果不存在,略过。如果存在需要进行卸载

执行如下:rpm -qa | grep jdk
返回如下:
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

rpm -e --nodeps 加上返回的结果
3,安装JDK
rpm -ivh jdk-8u101-linux-x64.rpm


修改节点服务器配置


有关配置hostname、selinux关闭,防火墙关闭 hostname修改

1,执行命令如下:vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave1

2,执行命令如下:vi /etc/hostname
删除文件内容
输入如下 slave1

3,修改HOST映射,执行命令如下:vi /etc/hosts
ipDress1 master
ipDress2 slave1
ipDress3 slave2
ipDress1, ipDress2, ipDress3分别为master, slave1, slave2服务器IP地址

有关配置hostname、selinux关闭,防火墙关闭 hostname修改

4,selinux关闭,执行命令如下:vim /etc/sysconfig/selinux
修改SELINUX=disabled

5, 重启虚拟机,执行命令:reboot


更改防火墙配置

依次执行命令如下:
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
执行完显示如下:
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
Active: inactive (dead)


安装时间同步服务

为什么需要时间同步?思考题

安装步骤如下:
1,执行命令如下:yum -y install ntp
2,安装完成过后执行:vi /etc/ntp.conf

注释掉所有server *.*.*的指向,新添加一条语句将ntp指向master服务器,ipDress 为master服务器IP地址
server ipDress iburst

启动时间同步服务 service ntpd start
执行命令 ntpdate -u master
重启时间同步服务 service ntpd restart

SSH无密码登录配置

为什么需要无密码登陆?思考题

依次执行命令如下

ssh-keygen -t rsa 一直使用默认

ssh-copy-id ipDress1
ssh-copy-id ipDress2


ipDress1和ipDress2分别为从节点master和slave2的IP地址


1,查看是否已经安装MYSQL执行命令如下:rpm -qa | grep mariadb

2,如果存在 执行卸载 yum remove mariadb-libs 或者yum remove mariadb
或者 rpm -e --nodeps 加上返回的结果

3,拷贝mysql-connector-java-5.1.25-bin.jar到/usr/share/java/mysql-connector-java.jar

安装Cloudera-Manager


1、解压cm tar包到指定目录
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/cloudera-manager
2,创建cloudera-scm用户
useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3,配置从节点cloudera-manger-agent指向主节点服务器
vim /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini
将server_host改为CMS所在的主机名即master

4,创建parcels目录
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
解释:Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来,分发解压激活到各个节点的/opt/cloudera/parcels目录中

yum install perl

 

启动从节点CLOUDERA SCM AGENT

执行命令如下:

mkdir /opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-agent
cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

修改变量路径

vim /etc/init.d/cloudera-scm-agent
将CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.11.1/etc/default
然后执行

chkconfig cloudera-scm-agent on
service cloudera-scm-agent start

等待SERVER 与 AGENT节点的启动完成

视机器配置的高地影响,启动时间不定。


打开fire fox或者chrome ,输入网址
进入(自己的IP地址:主节点)192.168.160.130:7180 默认使用admin admin登录

 

上一篇:《CDH Master安装部署》:https://www.cnblogs.com/henyu/p/9025975.html

 

posted @ 2018-05-11 17:57  henyu  阅读(625)  评论(0编辑  收藏  举报