HDP2.4安装(五)：集群及组件安装

Posted on 2016-08-08 11:07 天戈朱阅读(7733) 评论(0) 编辑收藏举报

HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本对应图如下：（图片来自hortonwork官网）

安装过程：

集群规划
环境准备
软件包下载：（HDP2.4的安装包过大，推荐离线安装）
HDP安装部署

集群规划：

192.168.2.89 hdp1 (ambari)
192.168.2.2 hdp2 (worknode1)
192.168.2.99 hdp3 (worknode2)
192.168.2.21 hdp4 (masterNode)
192.168.2.169 R (secondary master、zookeeper)

环境准备：

所有节点操作系统安装完成后，hdp1用来部署本地安装下载源，要求所有节点均能通过ssh无密访问
在hdp1机器上，执行命令：vim /etc/hosts 配置文件内容如下图. （要求所有节点机器的hosts文件内容均是如此）
hdp1.命令： cd ~/.ssh (切换目录）
hdp1.命令：ssh-copy-id hdp1 (配置hdp1能无密访问所有节点）
hdp1.命令：ssh-copy-id hdp2
hdp1.命令：ssh-copy-id hdp3
hdp1.命令：ssh-copy-id hdp4
hdp1.命令：ssh-copy-id R
注意：其它节点的机器如上配置，必须保证能无密访问hdp1
将hdp安装包上传至hdp1服务器，并切换至该目录（如：/usr/zhu)
命令： tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz （安装包文件解压）
命令： tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
将解压后的生成的 HDP 和 HDP-UTILS-1.1.0.20 目录copy 到 /var/www/html 目录下

手工创建名为 hdp.rpo 的文件，内容如下（http://192.168.2.89为安装ambari的机器IP）

[HDP-2.4.2.0]
name=HDPVersion-HDP-2.4.2.0
baseurl=http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

注意：baseurl 的地址必须与物理的文件能对应起来（即：http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0能正确访问）

同样方式，手工创建名为 hdp-util.repo 的文件，内容如下：

[HDP-UTILS-1.1.0.20]
name=HDPUtilsVersion-HDP-UTILS-1.1.0.20
baseurl=http://192.168.2.89/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

将 hdp.rpo 和 hdp-util.repo 文件上传至 /etc/yum.repos.d 目录，如下图：
将上传至 hdp1 服务器上的 rpo 文件分发至集群内其它机器节点的相同目录，命令如下：
hdp1命令： cd /etc/yum.repos.d
hdp1命令： scp hdp.repo hdp-util.repo hdp2:/etc/yum.repos.d （将文件copy至hdp2)
hdp1命令： scp hdp.repo hdp-util.repo hdp3:/etc/yum.repos.d
hdp1命令： scp hdp.repo hdp-util.repo hdp4:/etc/yum.repos.d
hdp1命令： scp hdp.repo hdp-util.repo R:/etc/yum.repos.d

HDP安装：

在任意机器浏览器上打开ambari web 界面（http://192.168.2.89:8080 user:admin psd:admin)
在主页面 ”Create a Cluster“ 版板，选择 ”Launch Install Wizard“，如图：
按向导输入集群名
选择hdp2.4, 我们采用离线安装，在高级选项中将 redhat7 以外的其它选项全部去掉，同时配置本地源地址（对应repo文件中baseUrl地址），如下：
将ambari主机上生成的私钥文件下载到本地（使用 sz 命令或 winSCP 工具）
在下一步中输入主机列表（hdp要求带FQDN的机器名，可不用理会），输入机器列表，导入私钥，如下图
选择"Register and Confirm", 忽略弹出的警告提示，继续如下图：
选择 "Next", 进入需要安装的服务选择模板（我主要是为了建HBase集群）,选择的服务如下：
选择 ”Next“，进行服务与主机分配，如下图：
"Next" -> 进入 Slaves and client 分配，如下图：
”Next" -> 进入 Customize Services 定义，给 hive metastore 分配数据库,输入数据库名、用户和密码(bigdata)
点击 " Test Connection", 肯定是连不上的，手工创建数据库和用户

执行：create database hive; （创建hive数据库）
执行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'bigdata'; (创建hive用户)
执行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'bigdata';
执行：FLUSH PRIVILEGES; （刷新权限）
执行：quit;

命令：service mysql restart;
验证：mysql -u hive -p (成功登陆则OK）

点击 " Test Connection", 如上图则OK
ambari 监控UI 工具 admin 赋密码（bigdata),如图：
"Next", 在服务安装清单界面，确认无误后，选择 ”Deploy"
等待系统安装，安装结束后如图：
出现如下界面，则表示安装ok

刷新页面返回顶部

天戈朱

公告

HDP2.4安装(五)：集群及组件安装