SequoiaDB、SequoiaSQL、Cloudera Manager4.8.0、Cloudera CDH4.5 详细安装教程

1安装SequoaiDB集群

1.1配置信任关系

以root用户执行下面的操作

1 执行命令

ssh-keygen

然后一直回车确定即可

2 每台机器都打开id_rsa.pub文件

vi ~/.ssh/id_rsa.pub

3每台机器上都打开authorized_keys 文件

vi ~/.ssh/authorized_keys

4 将所有机器的公钥复制到各自的 authorized_keys 文件中，保存退出

5 测试信任关系是否配置成功(成功则无需再输入密码登陆)

ssh root@hostname1

ssh root@hostname2

ssh root@hostname3

1.2 关闭防火墙

1 redhat/centos

service iptables stop

1.3 配置hostname对应关系

1 查看机器hostname

hostname

2 查看机器ip地址

ifconfig

3 收集要部署机器的hostname与ip地址信息

4 将收集到的hostname与ip地址映射关系分别写入各个机器的系统文件

vi /etc/hosts

1.4启动Web服务

1.4.1安装SequoiaDB

1 解压

tar -zxvf sequoiadb-1.6-linux_x86_64-installer.run.tar.gz

2 加权

chmod a+x sequoiadb-1.6-linux_x86_64-installer.run

3 安装SequoiaDB软体,选择项全部填写默认值

./sequoiadb-1.6-linux_x86_64-installer.run --mode unattended

4 检查安装后,sdbcm进程是否正常启动

ps -ef | grep sdbcm

1.4.2 启动Web 服务

1 切换路径

cd /opt/sequoiadb/

2 启动Web 服务

bin/sdbwsart -S 0.0.0.0:8080

1.5 Web部署SequoiaDB集群

1.5.1 浏览器访问SequoiaDB Web 服务

1 浏览器访问

例如

http://192.168.1.1:8080

点击”关闭”

1.5.2 部署集群

1 选择”部署”

2 填写SequoiaDB 程序路径，点击”下一步”

3 选择”添加主机”

4 填写ip地址区域，点击”扫描”

5 勾选扫描到的主机，点击”添加到主机列表”

6 选择IP列表，点击”下一步”

7 批量添加协调节点，点击”批量添加节点”

8 选择IP列表，点击”添加到列表”

9 选择IP列表，点击”批量配置节点”

10 修改”dbpath”和”svcname”值，如下图，点击”保存”，然后点击”下一步”

11 点击 “批量添加节点”

12 选择IP列表，点击”添加到列表”

13 选择IP列表，点击”批量配置节点”

14 修改”dbpath”和”svcname”，点击”保存”，然后点击”下一步”

15 添加分区组

16 填写分区组名，以”,”分隔，点击”添加到列表”

17 点击其中一个分区组，点击”分区组操作”，点击”添加节点”

18 选择IP列表，点击”添加到列表”

19 选择分区组，选择IP列表，点击”节点操作”和”批量配置节点”

20 修改”dbpath”和”svcname”，点击”保存”

21 重复步骤17、18、19、20，直到所有分区组配置完成，点击”下一步”

22 查看部署的配置信息，确认无误后，点击”下一步”

23 点击”开始”

24 检查环境无误后，点击”下一步”

25 分发安装包，点击”开始”

26 分发安装包完成，点击”继续”，开始安装SequoiaDB程序

27 安装完成后，点击”继续”，启动协调节点

28 启动完协调节点后，点击”继续”，启动编目节点

29 启动完编目节点后，点击”继续”，启动数据节点

30 启动完数据节点后，点击”继续”，激活分区组

31 激活分区组成功后，登陆SequoiaDB监控页面

32 填写好hostname和端口后，点击”连接测试”，测试通过后，点击”连接”，登陆监控页面

这样，SequoiaDB集群就部署完成了

2 部署SeuoiaSQL集群

2.1 安装

2.1.1 解压SequoiaSQL tar包

在hadoop.master 机器上执行

tar -zxvf sequoiasql-1.2.0-linux_x86_64-installer.run.tar.gz

2.1.2 添加执行权限

在hadoop.master 机器上执行

chmod a+x sequoiasql-1.2.0-linux_x86_64-installer.run

2.1.3 scp SequoiaSQL 安装程序到其他的机器

scp sequoiasql-1.2.0-linux_x86_64-installer.run root@hadoop.slave1:/root

scp sequoiasql-1.2.0-linux_x86_64-installer.run root@hadoop.slave2:/root

2.1.4安装SequoiaSQL程序

1 在hadoop.master 机器上执行

./sequoiasql-1.2.0-linux_x86_64-installer.run --mode unattended

默认启动ssql-server、catalog、state-store服务，ssql-server连接本机的catalog，ssql-server连接本地的state-store。

在安装SequoiaSQL 应用程序过程中，程序会自动建立一个新用户和组，默认是ssqladmin:ssqladmin_group。

2 启动本机的ssql-server服务

service ssql-server start

3查看ssql的服务是否正常启动

查看ssql-server 服务是否正常启动

service ssql-server status;

查看ssql-state-store 服务是否正常启动

service ssql-state-store status

查看ssql-catalog 服务是否正常启动

service ssql-catalog status

4 在其余机器上执行

./sequoiasql-1.2.0-linux_x86_64-installer.run --mode unattended --catalog_host hadoop.master --run_catalog 0 --run_statestore 0 --state_store_host hadoop.master

选择不启动本机的catalog、state-store服务，ssql-server连接hadoop.master的catalog，ssql-server连接hadoop.master的state-store.

在安装SequoiaSQL 应用程序过程中，程序会自动建立一个新用户和组，默认是ssqladmin:ssqladmin_group。

5 启动其余机器的ssql-server服务

service ssql-server start

2.2测试SequoiaSQL 集群

1 切换用户

su - ssqladmin

2 打开ssql-shell 程序

bin/ssql-shell

3 创建一张新表

create table test(name string , id int);

4 往新表插入数据

insert into test values("chen",123);

5 查询记录

select * from test;

6 退出ssql-shell

exit;

2.3 SequoiaSQL对接SequoiaDB注意项

2.3.1 ssql-server连接SequoiaDB 协调节点

1 切换用户

su - ssqladmin

2 打开配置文件

vi server/conf/sequoiasql.xml

3 修改hive.com.sequoiadb.url 的值

<property>

<name>hive.com.sequoiadb.url</name>

<value>hostname:coord_port</value>

</property>

hostname是SequoiaDB协调节点所在机器ip或者hostname，默认为”localhost”

coord_port是SequoiaDB协调节点端口，默认为”11810”

4 保存退出

5 重启ssql-server服务

切换为root用户

exit;

重启ssql-server服务

service ssql-server restart

6 查看ssql-server状态

service ssql-server status

SequoiaSQL 集群部署完成。

3 安装部署Cloudera Manager 4.8

3.1 配置dvd光盘

3.1.1 创建路径

mkdir -p /mnt/dvd1

mkdir -p /mnt/dvd2

3.1.2 mount ios

mount -o loop /home/centosISO/CentOS-6.4-x86_64-bin-DVD1.iso /mnt/dvd1

mount -o loop /home/centosISO/CentOS-6.4-x86_64-bin-DVD2.iso /mnt/dvd2

3.1.3 启动Web 服务

1 将相关库加入环境变量

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/opt/sequoiadb/tools/server/php/libxml2/lib/

2 启动Web服务

nohup /opt/sequoiadb/tools/server/php/bin/php-bin -S 0.0.0.0:8090 -c /opt/sequoiadb/tools/server/php/lib/php.ini -t /mnt/dvd1 &

3.1.4 基于Centos 6.4配置yum 源

1 创建新目录，备份好之前的源信息(由于原来的源需要与外网连接，导致不可用)

mkdir -p /etc/yum.repos.d/bak

mv /etc/yum.repos.d/C* /etc/yum.repos.d/bak/

2 所有的机器均需要配置新的源

1) 打开文件

vi /etc/yum.repos.d/Centos-local1.repo

2) 增加内容

[centos-base1]

name=Centos ios1

baseurl=http://hadoop.master:8090/

enabled=1

gpgcheck=0

3) 保存退出

3.2 安装postgresql-server

3.2.1 查看postgresql-server 包是否存在

yum list | grep postgresql-se

3.2.2 安装postgresql-server

yum install postgresql-server.x86_64

安装过程中，选择Yes

3.3 配置Cloudera Manager 源

3.3.1 启动Web服务

在root用户下操作

1 执行命令，添加库文件

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/opt/sequoiadb/tools/server/php/libxml2/lib/

2 启动Web 服务

nohup /opt/sequoiadb/tools/server/php/bin/php-bin -S 0.0.0.0:80 -c /opt/sequoiadb/tools/server/php/lib/php.ini -t /root/BOC-POC/install-package/CDH-4.5.0/ &

3.3.2 修改所有机器的hostname/ip 映射关系

1 打开hosts文件

vi /etc/hosts

2 增加内容，例如:

192.168.1.1 archive.cloudera.com

填写的IP地址为启动了80 Web端口的机器IP地址

3.3.3

1 复制源的信息文件

cp -f /root/BOC-POC/install-package/CDH-4.5.0/cm4/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera /root/BOC-POC/install-package/CDH-4.5.0/cm4/redhat/6/x86_64/cm/4/

3.3.4 安装Cloudera Manager

1 创建文件目录

mkdir -p /opt/cloudera

2 复制Cloudera-Manager-installer.bin 文件到目录

cp -f /root/BOC-POC/install-package/CDH-4.5.0/cloudera-manager-installer.bin /opt/cloudera/

3 增加执行权限

chmod a+x /opt/cloudera/cloudera-manager-installer.bin

4 执行cloudera-manager-installer.bin

/opt/cloudera/cloudera-manager-installer.bin

1) 点击”Next”

2) 点击”Next”

3) 通过按键选择”Yes”

4) 点击”Next”

5) 通过按键选择”Yes”

6) 开始安装

7) 安装成功，点击”OK”，退出安装界面

4 安装部署Cloudera CDH4.5

4.1 准备部署程序

1 复制文件

cp -f /root/BOC-POC/install-package/CDH-4.5.0/cdh4/parcels/4.5.0/CDH-4.5.0-1.cdh4.5.0.p0.30-el6.parcel /opt/cloudera/parcel-repo/

cp /root/BOC-POC/install-package/CDH-4.5.0/cdh4/parcels/4.5.0/manifest.json /opt/cloudera/parcel-repo/

2 读取安装文件的验证信息

vi /opt/cloudera/parcel-repo/manifest.json

搜索你的系统，例如：Centos 6.4 ，搜索”el6”

看到如下信息：

{

"parcelName": "CDH-4.5.0-1.cdh4.5.0.p0.30-el6.parcel",

"components": [

{ "name": "flume-ng",

"version": "1.4.0-cdh4.5.0",

"pkg_version": "1.4.0+56"

}

,{ "name": "hadoop-0.20-mapreduce",

"version": "2.0.0-cdh4.5.0",

"pkg_version": "2.0.0+1518"

}

,{ "name": "hadoop-hdfs",

"version": "2.0.0-cdh4.5.0",

"pkg_version": "2.0.0+1518"

}

,{ "name": "hadoop-httpfs",

"version": "2.0.0-cdh4.5.0",

"pkg_version": "2.0.0+1518"

}

……

"hash": "dbd83e4a7df3254fc288666031f79d23d3cf864a"

},

3 创建配置文件

将步骤2获取的”hash”值写入到文件中

echo "dbd83e4a7df3254fc288666031f79d23d3cf864a" >> /opt/cloudera/parcel-repo/CDH-4.5.0-1.cdh4.5.0.p0.30-el6.parcel.sha

4.2 浏览器访问Cloudera Manager 管理页面

1 访问Cloudera Manager 管理页面

例如：浏览器访问地址输入

http://10.21.111.217:7180/

2 用户名和密码均为:admin，点击”登陆”

3 选择试用60天，点击”继续”

4 程序会自动重启，等待它成功启动，重新刷新浏览器即可

4.3 配置其余机器的安装源

4.4 部署CDH4.5

1 点击”继续”

2 重新登录，选择免费试用版本，点击”继续”

3 点击”模式”，了解如何查找你需要部署的机器，点击”关闭”，关闭窗口

4 根据搜索规则，填写IP地址/hostname，点击”搜索”

5 搜索机器列表，选择你需要部署的机器，点击”继续”

6 选择安装的程序包和服务

自定义存储库填写

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4

自定义GPG主要URL填写：

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/RPM-GPG-KEY-cloudera

点击”继续”

7 填写root用户的密码，点击”继续”

8 安装完毕后，点击”继续”

9 分发CDH4.5安装包，完成后点击”继续”

10 检测环境，结束后，点击”继续”，如果用时太久，可以点击”跳过主机检测器”

11 选择需要安装的模块，建议选择”含实时交付的核心”，如果需要特别定制角色分配，点击”检查角色分配”查看，如果无误，点击”继续”

12 测试将要部署的端口与数据库是否可用，数据库默认使用postgresql，测试完成后，点击”继续”

 

13 配置CDH环境的具体路径设置，Cloudera 会有一个推荐配置，如果配置没有问题，点击”继续”

14 等待启动CDH的各项服务，完成后，点击”继续”

15 CDH启动完成，点击”继续”