ambari安装hadoop

前言

hadoop除了社区版之外，还有两个主流的分支，一个是cdh版本，一个是hdp版本，其中ambari是hdp版本的部署工具

1.ambari安装准备

https://docs.hortonworks.com/ ambari版块，找到installation

ip	role	os	java
10.110.92.148	ambari-master	centos-7.2	1.8
10.110.92.161	ambari-agent	centos-7.2	1.8
10.110.92.162	ambari-agent	centos-7.2	1.8

• master到agent端的ssh免密通信

• master与agent时间同步

• iptables off 与selinux off

• 各node中/etc/hosts中ip对hostname的对应

  [root@10-110-92-148 ~]# cat /etc/hosts
  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  10.110.92.162 10-110-92-162
  10.110.92.161 10-110-92-161
  10.110.92.148 10-110-92-148
  

数据库准备工作

• 数据库，因为os为centos7.2，所以直接通过yum源安装了mariadb

  [root@10-110-92-1648 ~]# yum -y install mariadb-server.x86_64 mariadb-devel.x86_64 mariadb-libs.x86_64
  

• 数据库授权

• 可以后续ambari-server setup的时候再依实际情况设置，如果ambari-server setup未作更改，可以进行以下的授权

MariaDB [(none)]> grant all on ambari.* to ambari@'%' identified by "bigdata";

• mysql驱动安装

[root@10-110-92-148 resources] #  yum install mysql-connector-odbc.x86_64 mysql-connector-java.noarch 

• 手动链接mysql驱动java库至ambari安装目录(重要)

[root@10-110-92-148 resources]# ln -svnf /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-connector-java.jar

如果未出现链接，后续web安装时在agent端可能出现无法安装hive等组件的问题，具体表示为以下类似情况

Failed to download file from http://10-110-92-148:8080/resources/mysql-connector-java.jar due to HTTP error: HTTP Error 404: Not Found

2.本地仓库准备

1.安装文件的下载

ambari中安装组件很多，所以最好先自行下载，完成本地仓库的安装

找到Apache Ambari installation中Obtaining Public Repositories下面的Ambari Repositories，下载其中的Tarball链接文件，三个均要下载，然后解压

[root@10-110-92-148 ambarirepo]# cd /data/ambarirepo/
[root@10-110-92-148 ambarirepo]# ll
total 8722480
drwxr-xr-x 3 zabbix users         28 Jul 13 07:53 HDP
-rw-r--r-- 1 root   root  8841048054 Jul 13 08:15 HDP-3.0.0.0-centos7-rpm.tar.gz
drwxr-xr-x 3 zabbix users         28 Jul 13 16:15 HDP-GPL
-rw-r--r-- 1 root   root      162239 Jul 13 16:15 HDP-GPL-3.0.0.0-centos7-gpl.tar.gz
drwxr-xr-x 3 zabbix users         28 Aug 13 18:28 HDP-UTILS
-rw-r--r-- 1 root   root    90606616 Aug 13 18:28 HDP-UTILS-1.1.0.22-centos7.tar.gz

2.仓库文件的http访问

安装nginx，然后更改nginx的配置文件，使得其可以通过web访问到文件

    server {
        listen       80 default_server;
        server_name  _;
        root         /data/ambarirepo;  ##更改目录
        
        location / {
        autoindex on;	##加入此项
        }
        ###下略
        }

将/data/ambarirepo/HDP/centos7/3.0.0.0-1634目录之下的index.html重命名为index.html.bak，在web访问http://10.110.92.148/HDP/centos7/3.0.0.0-1634/可以看到文件与目录列表，即表示ok

3.安装ambari

1.下载ambari repo文件

在Apache Ambari installation中Installing Ambari下面Download the Ambari Reposioty中

比如本文中的为2.7.1，repo链接为

[root@10-110-92-148 ~]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

2.安装ambari并启动

[root@10-110-92-148 ~]# yum install ambari-server
[root@10-110-92-148 ~]# ambari set-up

3.ambari-setup设定

设定mysql使用，java环境等，自行选择java环境时，需要指定java环境路径

设定完成之后，初始化ambari数据库

MariaDB [(none)]> create database ambari;
MariaDB [(none)]> use ambari;
MariaDB [(none)]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.启动ambari

[root@10-110-92-148 ~]# ambari-server setup

4.ambari web安装

• 访问master的web端 http://10.110.92.148:8080 默认用户密码为admin/admin

• launch cluster，取一cluster名称

• get started中，添加agent三个主机的hostname，并非ip，然后将master的私钥文件导入，即id_rsa，并非id_rsa.pub文件

• 选择使用本地仓库，将刚才nginx可访问的文件链接依次贴入，本文例

  hdp	http://10.110.92.148/HDP/centos7/3.0.0.0-1634/
  gpl	http://10.110.92.148/HDP-GPL/centos7/3.0.0.0-1634/
  utils	http://10.110.92.148/HDP-UTILS/centos7/1.1.0.22/

• 选择下一步，选择自行安装的组件

• 密码统一设定即可，需要大于8位，同时为字母数字组合，部分密码需要那样的格式

• 将namenode的jvm调整至4G大小

• 确保在custionzie services无提醒