CDH| Cloudera Manager的安装
1. cloudera manager的概念
简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提
高集群管理的效率。
功能
1) 管理:对集群进行管理,如添加、删除节点等操作。
2) 监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
3) 诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
4) 集成:多组件进行整合。
架构
1) Server:负责软件安装、配置,启动和停止服务,管理服务运行的群集。核心
2) Agent:安装在每台主机上。负责启动和停止进程,配置,监控主机。
3) Management Service:由一组执行各种监控,警报和报告功能角色的服务。图表的生成和管理
4) Database:存储配置和监视信息。
5) Cloudera Repository:软件由Cloudera 管理分布存储库。(有点类似Maven的中心仓库);在线安装(从中心仓库拉取)和离线安装(离线库)
6) Clients:是用于与服务器进行交互的接口(API和Admin Console)
2. 准备安装环境
主节点10g /16G 其他节点2G /4G 其他节点2G /4G 硬盘情况: [root@hadoop101 ~]# df -h
1. SSH免密登录
配置hadoop101对hadoop101、hadoop102、hadoop103三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的,所以这里不需要配置SSH免密登录,但是为了我们分发文件方便,在这里我
们也配置SSH。
1)生成公钥和私钥:
[root@hadoop101 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2)将公钥拷贝到要免密登录的目标机器上
[root@hadoop101 .ssh]$ ssh-copy-id hadoop101 [root@hadoop101 .ssh]$ ssh-copy-id hadoop102 [root@hadoop101 .ssh]$ ssh-copy-id hadoop103
3)重复1和2的操作,配置hadoop102对hadoop101、hadoop102、hadoop103三台服务器免密登录。
2. 集群同步脚本
1)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下:
[root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
#!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名称 user=`whoami` #5 循环 for((host=103; host<105; host++)); do echo ------------------- hadoop$host -------------- rsync -av $pdir/$fname $user@hadoop$host:$pdir done
2)修改脚本 xsync 具有执行权限
[root@hadoop101 bin]$ chmod 777 xsync
3. 安装JDK(三台)
1)解压JDK到/opt/module目录下,并修改文件的所有者和所有者组为root
[root@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ [root@hadoop101 module]# chown root:root jdk1.8.0_144/ -R
2)配置JDK环境变量
(1)打开/etc/profile文件
[root@hadoop101 software]$ vi /etc/profile 在profile文件末尾添加JDK路径 #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin
(2)让修改后的文件生效
[root@hadoop101 jdk1.8.0_144]$ source /etc/profile
3)测试JDK是否安装成功
[root@hadoop101 jdk1.8.0_144]# java -version java version "1.8.0_144"
4)将hadoop101中的JDK和环境变量分发到hadoop102、hadoop103两台主机
[root@hadoop101 opt]# xsync /opt/module/
[root@hadoop101 opt]# xsync /etc/profile
分别在hadoop102、hadoop103上source一下
[root@hadoop102 ~]$ source /etc/profile
[root@hadoop103 ~]# source /etc/profile
4. 集群整体操作脚本
1)在/root/bin目录下创建脚本xcall.sh
[root@hadoop101 bin]$ vim xcall.sh
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
#! /bin/bash for i in hadoop101 hadoop102 hadoop103 do echo --------- $i ---------- ssh $i "$*" done
2)修改脚本执行权限
[root@hadoop101 bin]$ chmod 777 xcall.sh
3)将/etc/profile文件追加到~/.bashrc后面
[root@hadoop101 module]# cat /etc/profile >> ~/.bashrc [root@hadoop102 module]# cat /etc/profile >> ~/.bashrc [root@hadoop103 module]# cat /etc/profile >> ~/.bashrc
4)测试
[root@hadoop101 bin]# xcall.sh jps
5. 安装MySQL
注意:一定要用root用户操作如下步骤;先卸载MySQL再安装
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
[root@hadoop101 software]# ll 总用量 2387020 -rw-r--r--. 1 root root 1620405492 4月 5 14:52 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel -rw-r--r--. 1 root root 41 4月 5 14:51 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 -rw-r--r--. 1 root root 742029734 4月 5 14:52 cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -rw-r--r--. 1 root root 72312 4月 5 14:52 manifest.json -rw-r--r--. 1 root root 77807942 4月 5 14:54 mysql-libs.zip -rw-r--r--. 1 root root 3969752 4月 5 14:52 MySQL-shared-compat-5.6.41-1.el6.x86_64.rpm [root@hadoop101 software]# unzip mysql-libs.zip Archive: mysql-libs.zip creating: mysql-libs/ inflating: mysql-libs/MySQL-client-5.6.24-1.el6.x86_64.rpm inflating: mysql-libs/mysql-connector-java-5.1.27.tar.gz inflating: mysql-libs/MySQL-server-5.6.24-1.el6.x86_64.rpm [root@hadoop101 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm [root@hadoop101 mysql-libs]# cat /root/.mysql_secret # The random password set for the root user at Sun Apr 5 14:55:45 2020 (local time): SEACIwdkL2dPI8_g [root@hadoop101 mysql-libs]# service mysql start Starting MySQL.... [确定] [root@hadoop101 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm [root@hadoop101 mysql-libs]# mysql -uroot -pSEACIwdkL2dPI8_g mysql> SET PASSWORD=PASSWORD('123456'); Query OK, 0 rows affected (0.00 sec) [root@hadoop101 mysql-libs]# mysql -uroot -p123456 mysql> select User, Host, Password from mysql.user; +------+-----------+-------------------------------------------+ | User | Host | Password | +------+-----------+-------------------------------------------+ | root | localhost | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 | | root | hadoop101 | *5750A2405D7ED53B669267E80F41E095C3BABC0E | | root | 127.0.0.1 | *5750A2405D7ED53B669267E80F41E095C3BABC0E | | root | ::1 | *5750A2405D7ED53B669267E80F41E095C3BABC0E | +------+-----------+-------------------------------------------+ 4 rows in set (0.00 sec) mysql> update user set host='%' where host='localhost'; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> delete from user where Host='hadoop101'; Query OK, 1 row affected (0.00 sec) mysql> delete from user where Host='127.0.0.1'; Query OK, 1 row affected (0.00 sec) mysql> delete from user where Host='::1'; Query OK, 1 row affected (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) mysql> select User, Host, Password from user; +------+------+-------------------------------------------+ | User | Host | Password | +------+------+-------------------------------------------+ | root | % | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 | +------+------+-------------------------------------------+ 1 row in set (0.00 sec)
6. 创建CM用的数据库
[root@hadoop101 ~]# mysql -uroot -p123456 (1)集群监控数据库 create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; (2)hive数据库 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; ##安装Hive时需要创建hive数据库;如果安装失败要把它删除重写创建 (3)oozie数据库 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; (4)hue数据库 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
7. 下载第三方依赖
依次在三台节点(所有Agent的节点)上执行下载第三方依赖(注意:需要联网)
[root@hadoop101 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb [root@hadoop102 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb [root@hadoop103 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
关闭SELINUX
安全增强型Linux(Security-Enhanced Linux)简称SELinux,它是一个 Linux 内核模块,也是Linux的一个安全子系统。为了避免安装过程出现各种错误,建议关闭,有如下两种关闭方法:
1)临时关闭(不建议使用)
[root@hadoop101 ~]# setenforce 0 但是这种方式只对当次启动有效,重启机器后会失效。
2)永久关闭(建议使用)
修改配置文件/etc/selinux/config [root@hadoop101 ~]# vim /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=disabled SELINUX=disabled
3)同步/etc/selinux/config配置文件
[root@hadoop101 ~]# xsync /etc/selinux/config
4)重启hadoop101、hadoop102、hadoop103主机
[root@hadoop101 ~]# reboot [root@hadoop102 ~]# reboot [root@hadoop103 ~]# reboot
配置NTP时钟同步
1)NTP服务器配置
[root@hadoop101 ~]# vi /etc/ntp.conf ①注释掉所有的restrict开头的配置 ②修改#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为restrict 192.168.1.101 mask 255.255.255.0 nomodify notrap ③将所有server配置进行注释 ④添加下面两行内容 server 127.127.1.0 fudge 127.127.1.0 stratum 10
2)启动NTP服务 service ntpd start
[root@hadoop101 ~]# service ntpd start
3)NTP客户端配置(在agent主机上进行配置hadoop102,hadoop103)
[root@hadoop102 ~]# vi /etc/ntp.conf ①注释所有restrict和server配置 ②添加server 192.168.1.101
4)手动测试
[root@hadoop102 ~]# ntpdate 192.168.1.101 显示如下内容为成功: 17 Jun 15:34:38 ntpdate[9247]: step time server 192.168.1.101 offset 77556618.173854 sec 如果显示如下内容需要先关闭ntpd: 17 Jun 15:25:42 ntpdate[8885]: the NTP socket is in use, exiting
5)启动ntpd并设置为开机自启(每个节点hadoop101,hadoop102,hadoop103)
[root@hadoop102 ~]# chkconfig ntpd on [root@hadoop102 ~]# service ntpd start
6)使用群发date命令查看结果
3. CM安装部署
1)CM下载地址:http://archive.cloudera.com/cm5/cm/5/
2)离线库下载地址:http://archive.cloudera.com/cdh5/parcels
注:以下所有操作均使用root用户
1)创建/opt/module/cm目录
[root@hadoop101 module]# mkdir –p /opt/module/cm
2)上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到hadoop101的/opt/software目录,并解压到/opt/module/cm目录
[root@hadoop101 software]# tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cm
3)分别在hadoop101、hadoop102、hadoop103创建用户cloudera-scm
[root@hadoop101 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm [root@hadoop102 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm [root@hadoop103 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \ --no-create-home \ --shell=/bin/false \ --comment "Cloudera SCM User" cloudera-scm
参数说明:
--system 创建一个系统账户
--home 指定用户登入时的主目录,替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户的登录 shell 名
--comment 用户的描述信息
注意:Cloudera Manager默认去找用户cloudera-scm,创建完该用户后,将自动使用此用户。
4)修改CM Agent配置
修改文件/opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主机名称 [root@hadoop101 cloudera-scm-agent]# vim /opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/config.ini 修改主机名称 server_host=hadoop101
5)配置CM的数据库 ,在主节点创建即可。
拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/
[root@hadoop101 cm]# mkdir –p /usr/share/java/ [root@hadoop101 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz [root@hadoop101 mysql-libs]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/ [root@hadoop101 mysql-libs]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
注意:jar包名称要修改为mysql-connector-java.jar
6)使用CM自带的脚本,在MySQL中创建CM库
[root@hadoop101 cm-5.12.1]# /opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop101 -uroot -p123456 --scm-host hadoop101 scm scm scm
参数说明
-h:Database host
-u:Database username
-p:Database Password
--scm-host:SCM server's hostname
7)分发cm
[root@hadoop101 module]# xsync /opt/module/cm
8)创建Parcel-repo目录
Servre 节点创建目录/opt/cloudera/parcel-repo
[root@hadoop101 module]# mkdir -p /opt/cloudera/parcel-repo [root@hadoop101 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
9)拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到hadoop102的/opt/cloudera/parcel-repo/目录下
[root@hadoop101 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 manifest.json
10)将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop101 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
11)在hadoop101上创建目录/opt/cloudera/parcels,并修改该目录的所属用户及用户组为cloudera-scm
[root@hadoop101 module]# mkdir -p /opt/cloudera/parcels [root@hadoop101 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
启动CM服务
1)启动服务节点:hadoop101
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start Starting cloudera-scm-server: [确定]
2)启动工作节点:hadoop101、hadoop102、hadoop103
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start [root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start [root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start
注意:启动过程非常慢,Manager启动成功需要等待5分钟左右,过程中会在数据库中创建对应的表需要耗费一些时间。
3)查看被占用则表示安装成功了!!!
[root@hadoop101 cm]# netstat -anp | grep 7180 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
4)访问http://hadoop101:7180,(用户名、密码:admin)
关闭CM服务
1)关闭工作节点:hadoop101、hadoop102、hadoop103
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [确定] [root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [确定] [root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [确定]
2)关闭服务节点:hadoop101
[root@hadoop101 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop 停止 cloudera-scm-server: [确定]
按装CM
1. 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
[root@hadoop104 module]# mkdir /opt/module/cloudera-manager
[root@hadoop104 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/
2. 创建用户cloudera-scm(所有节点,三个节点都创建)
[root@hadoop104 cloudera-manager]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
[root@hadoop104 cloudera-manager]# id cloudera-scm
uid=495(cloudera-scm) gid=492(cloudera-scm) 组=492(cloudera-scm)
#####hadoop104、hadoop105、hadoop106都需要创建cloudera-scm用户,否则在Parcel分发状态下,没有创建用户的分发,激活不了;
3. 配置CM Agent
修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
[root@hadoop104 cloudera-scm-agent]# vim config.ini
[General]
# Hostname of the CM server.
server_host=hadoop104
4. 配置CM的数据库;在主节点创建即可;
拷贝mysql jar文件到目录 /usr/share/java/
[root@hadoop104 share]# mkdir /usr/share/java/
[root@hadoop104 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop104 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
• 注意jar包名称要修改为mysql-connector-java.jar
在mysql中创建cm库
[root@hadoop104 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop104 -uroot -p123456 --scm-host hadoop104 scm scm scm
5. 分发到其他机器中
xsync cloudera-manager/
创建Parcel-repo目录
创建Parcel-repo 目录
1. Servre 节点创建目录/opt/cloudera/parcel-repo
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcel-repo
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
2.拷贝下载文件到/opt/cloudera/parcel-repo
(1)CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
(2)CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
(3)manifest.json
[root@hadoop104 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop104 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/
[root@hadoop104 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
[root@hadoop104 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/
3.在Agent 节点(hadoop102,hadoop103,hadoop104)创建目录/opt/cloudera/parcels
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop105 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop105 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop106 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop106 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
4. 分发Parcel-repo
[root@hadoop104 cloudera]# xsync /opt/cloudera/
启动和关闭CM Server&Agent 服务
服务节点:hadoop104
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [确定]
工作节点:hadoop104\hadoop105\hadoop106
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
[root@hadoop105 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
[root@hadoop106 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。
[root@hadoop102 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
查看被占用则表示安装成功了!!!
访问http://hadoop104:7180,(用户名、密码:admin)
关闭:
服务节点:hadoop104
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server: [确定]
工作节点:hadoop104\hadoop105\hadoop106
[root@hadoop104 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:
集群设置自定义安装
选择安装服务:
分配节点:
集群设置全部选默认即可,自动启动进程
[root@hadoop104 conf]# pwd //Hive的配置文件位置
/etc/hive/conf
HDFS重新安装的时候要把它的df文件夹给删掉
hive重新安装要把mysql里的hive库删掉;
修改权限问题两种方法:
第一种:
#第二种方式
[hdfs@hadoop104 init.d]$ su - hdfs ##su用户切换时 加 - 是会把环境也切换过来;建议用这种形式;
[hdfs@hadoop104 init.d]$ hadoop fs -chmod -R 777 /
[hdfs@hadoop104 init.d]$ exit ###不要直接su套用户,先exit结束掉
exit
[root@hadoop104 init.d]#
hive的启动
[root@hadoop104 ~]# hive ##启动hive时直接启动; Java HotSpot(TM) 64-Bit [root@hadoop104 ~]# beeline ##直接启动beeline,不用启动hiveserver2,因为在CDH上hive已经给我们启动了 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0 beeline> !connect jdbc:hive2://hadoop104:10000 scan complete in 13ms Connecting to jdbc:hive2://hadoop104:10000 Enter username for jdbc:hive2://hadoop104:10000: hive ####用户是启动hiveserver2的用户,而不是root Enter password for jdbc:hive2://hadoop104:10000:
Hive配置文件所在目录:
cloudera/parcels/CDH/lib/hive/conf
CDH各个目录:
/opt/cloudera/parcels/ 安装各个组件目录
/opt/cloudera/parcels/CDH/bin 各种应用的shell客户端
/opt/cloudera/parcels/CDH/lib 各种应用的安装位置 各个服务组件对应的jar包
/opt/cloudera/parcels/CDH/jars 所有jar包所在目录
/var/log 各种应用的日志目录
各种应用的配置文件目录
/etc/cloudera-scm-agent/config.ini cm agent的配置目录
/etc/cloudera-scm-server/ cm server的配置目录
/etc/hadoop/conf Hadoop各个组件的配置
/etc/hive/conf hive配置文件目录
/etc/hbase/conf hbase配置文件目录
/opt/cloudera/parcels/CDH/etc是hadoop集群以及组件的配置文件文件夹
Parcels包目录
/opt/cloudera/parcel-repo/ 服务软件包数据(parcels)
/opt/cloudera/parcel-cache/ 服务软件包缓存数据
服务运行时所有组件的配置文件目录
/var/run/cloudera-scm-agent/process