CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

 

一. 添加Hive服务

将 Hive 服务添加到 Cluster 1

配置hive元数据

测试通过后继续

自动启动Hive进程

修改Hive配置

/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib

 

更新Hive Metastore NameNode（先停止Hive）

 

 

 

 

二. Oozie安装

　　添加Oozie服务，选择有MySQL的节点安装

 

 

 

选择集群节点

 

 

三. Hue

1. Hue概述

1）Hue来源

HUE=Hadoop User Experience（Hadoop用户体验），直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

2）Hue官网及使用者

官网网站：http://gethue.com/

2.   安装前的准备

1）在LoadBalancer节点安装mod_ssl

2）查看/usr/lib64/mysql下有没有libmysqlclient_r.so.16，如果没有，上传libmysqlclient_r.so.16到/usr/lib64/mysql，并软链接到/usr/lib64/

[root@hadoop101 lib]# yum -y install mod_ssl
已加载插件：fastestmirror, refresh-packagekit, security
设置安装进程
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.huaweicloud.com
 * updates: mirrors.huaweicloud.com
解决依赖关系
--> 执行事务检查
---> Package mod_ssl.x86_64 1:2.2.15-69.el6.centos will be 安装
..........



[root@hadoop102 mysql]# ll
总用量 3108
lrwxrwxrwx. 1 root root      26 1月  15 2019 libmysqlclient_r.so.16 -> libmysqlclient_r.so.16.0.0
-rwxr-xr-x. 1 root root 1595432 5月  11 2016 libmysqlclient_r.so.16.0.0
lrwxrwxrwx. 1 root root      24 1月  15 2019 libmysqlclient.so.16 -> libmysqlclient.so.16.0.0
-rwxr-xr-x. 1 root root 1584904 5月  11 2016 libmysqlclient.so.16.0.0
[root@hadoop102 mysql]# scp /usr/lib64/mysql/libmysqlclient_r.so.16 root@hadoop101:/usr/lib64/mysql/
libmysqlclient_r.so.16 

[root@hadoop101 lib64]# ln -s /usr/lib64/mysql/libmysqlclient_r.so.16 /usr/lib64/libmysqlclient_r.so.16

 

 添加HUE服务

 

 

 

HUE页面

http://hadoop101:8888（未优化）或http://hadoop101:8889（优化）

第一次开启HUE会出现以下页面，此时输入的用户名和密码可以随意，之后登录页面以第一次输入的账号密码为依据。例如，用户名：admin 密码：admin

 

 

 

四. Sqoop安装

1）添加服务

选择Sqoop

 

目前选择sqoop1即可

2）选择节点

 

 安装在Hadoop101机器上：

数仓之即席查询数仓搭建

Impala安装

　　 添加服务

 

注意：最好将StateStore和CataLog Sever单独部署在同一节点上。

启动Impala

 

 

打开Hue