ubuntu14.04, Cloudera Manager 5.11.1, cdh5.11.1 postgresql离线部署

最近一段时间团队接到的项目需要处理的数据量非常大，之前的处理方式难以满足现有需求。最近两周前前后后折腾了不少，在搭建了hadoop+hbase+hive+spark的一个集群后，由于感觉管理和监控太麻烦就把它给干掉了，转而折腾CDH。

安装CDH前需要安装Cloudera Manager，官方文档提供的A，B，C三种安装方式。方式A傻瓜式的安装部署，安装时最好祈祷一次成功，否则卸载时时候非常麻烦。本文主要介绍方式C的部署。

系统环境以及相关软件版本

机器数量：4台PC，名称分别为Master, Slave1, Slave2, Slave3.
操作系统版本：Ubuntu 14.04
Cloudera Manager: 5.11.1，下载链接
CDH:5.11.1，CDH-5.11.1-1.cdh5.11.1.p0.4-trusty.parcel和CDH-5.11.1-1.cdh5.11.1.p0.4-trusty.parcel.sha1，下载链接
JDK:1.8.0_131
Postgresql:9.3

准备环境

运行Cloudera Manager的账号：用户名hadoop,用户组hadoop，密码hadoop。(继续利用之前集群的账号)
JDK安装：http://www.linuxidc.com/Linux/2015-09/122876.htm
主节点ssh无密码访问从节点：http://www.xuebuyuan.com/1875614.html,向全部节点的/etc/hosts文件添加集群个节点和对应ip.

192.168.1.110   Master
192.168.1.100   Slave1
192.168.1.120   Slave2
192.168.1.130   Slave3

Postgresql配置

开启外网访问；

添加Cloudera Manager所需用户和数据库：

连接pg:$ sudo -u postgres psql
为Cloudera Manager Server添加用户和数据库

postgres=# CREATE ROLE scm LOGIN PASSWORD 'scm';
postgres=# CREATE DATABASE scm OWNER scm ENCODING 'UTF8';

为Activity Monitor, Reports Manager, Hive Metastore Server, Hue Server, Sentry Server, Cloudera Navigator Audit Server, Cloudera Navigator Metadata Serve添加数据库和用户。

对于8.2.23以及更高版本的PostgreSQL，执行一下语句

postgres=# ALTER DATABASE Metastore SET standard_conforming_strings = off;

Cloudera Manager Server和Agents部署

服务端和服务端安装

复制cloudera-manager-trusty-cm5.11.1_amd64.tar.gz到所有节点。
创建Cloudera Manager的主目录且解压安装包

构建目录
$ sudo mkdir /opt/cloudera-manager
$ ssh hadoop@slave1 'sudo mkdir /opt/cloudera-manager'
$ ssh hadoop@slave2 'sudo mkdir /opt/cloudera-manager'
$ ssh hadoop@slave3 'sudo mkdir /opt/cloudera-manager'
进入所有节点解压安装包：
$ sudo tar xzf cloudera-manager-trusty-cm5.11.1_amd64.tar.gz -C /opt/cloudera-manager

在所有节点上创建用户cloudera-scm

注意目录为刚才解压的cdh压缩包下面的路径

$ sudo useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建Cloudera Manager服务端的本地文件夹

//仅Master节点
$ sudo mkdir /var/lib/cloudera-scm-server
$ sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

Cloudera Manager客户端配置

进入所有客户端节点中的/opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini，将server_host值改为服务器ip,server_port保持不变：

# Hostname of the CM server.
server_host=Master

# Port that the CM server is listening on.
server_port=7182

创建Parcel文件夹

在服务端建立parcel源文件夹，存放CDH安装包，便于Cloudera Manager自动部署到集群各节点。

$ sudo mkdir -p /opt/cloudera/parcel-repo

将文件夹所有者改为Cloudera Manager的运行用户（hadoop）

$ sudo chown hadoop:hadoop /opt/cloudera/parcel-repo

所有节点间创建parcels文件夹，所有者为Cloudera Manager的运行用户（hadoop）

$ sudo mkdir -p /opt/cloudera/parcels
$ sudo chown hadoop:hadoop /opt/cloudera/parcels

在客户端复制CDH到`/opt/cloudera/parcel-repo`

CDH-5.11.1-1.cdh5.11.1.p0.4-trusty.parcel
CDH-5.11.1-1.cdh5.11.1.p0.4-trusty.parcel.sha1

CDH-5.11.1-1.cdh5.11.1.p0.4-trusty.parcel.sha1重命名为CDH-5.11.1-1.cdh5.11.1.p0.4-trusty.parcel.sha

Cloudera Manager启动

服务端启动

为Cloudera Manager Server启动外部数据库postgresql

sudo /opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh postgresql scm scm scm

删除/opt/cloudera-manager/cm-5.11.1/etc/default/cloudera-scm-server中的export CMF_SUDO_CMD=" "
更改/opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server：

USER=hadoop
GROUP=hadoop

启动Cloudera Manager服务端$ sudo /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server start
服务端开机自启设置

sudo  cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
sudo update-rc.d cloudera-scm-server defaults

客户端启动

删除/opt/cloudera-manager/cm-5.11.1/etc/default/cloudera-scm-agent中的export CMF_SUDO_CMD=" "
启动Cloudera Manager服务端$ sudo /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent start
服务端开机自启设置

sudo  cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
sudo update-rc.d cloudera-scm-agent defaults

安装相关依赖包

sudo apt-get install ant apache2 bash debhelper fuse gcc libfuse2 libsasl2-modules libsasl2-modules-gssapi-mit libsqlite3-0 libssl-dev libxslt1.1 make openssl perl postgresql-client psmisc python-dev python-mysqldb python-psycopg2 python-setuptools rpcbind sed swig zlib1g