Hive安装和部署andMySQL安装和部署

Hive安装和部署

1、背景知识

2、使用软件及其版本

环境

虚拟机:VirtualBox 6.0.24 r139119

Linux:CentOS 7

Windows:Windows10

软件

Hive-1.1.0-cdh5.7.0

Mysql-5.7.21-1.el7.x86_64

工具

远程连接工具:XShell6

SFTP工具:FileZilla3.33.0

3、目标

MySQL安装
Hive安装

4、操作步骤

MySQL安装
1. 删除原有的mariadb
  
  安装新的mysql之前，如果原系统中有mariadb，先删除系统原有的mariadb,不然安装报错。
  1. 查看有无安装过mysql，使用命令:
    
    rpm -qa|grep mysql
  2. 删除mariadb
2. 下载并安装mysql
  
  可以在https://downloads.mysql.com/archives/community/ 下载
3. 安装mysql
  1. 上传到master节点的software的目录下，进行解压，使用命令:
    
    tar -xvf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar -C ~/app/mysql
  2. 安装mysql，使用命令:
```
 sudo rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
 sudo rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
 sudo rpm -ivh mysql-community-devel-5.7.21-1.el7.x86_64.rpm
 sudo rpm -ivh mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
 sudo rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
 sudo rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm
```
    如发现有如下安装错误:
    
    这是由于yum安装了旧版本的GPG keys造成的 ,解决办法有两个：
    - 方法一
      
      在安装命令后面加上 --force --nodeps，进行强制安装。
    - 方法二
      
      运行如下命令:
      
      rpm --import /etc/pki/rpm-gpg/RPM*
4. 启动mysql服务
  - 先查看mysql服务是否启动，使用命令:
    
    systemctl status mysqld
  - 启动mysql服务，使用命令:
    
    systemctl start mysqld
5. 查询root随机密码
  
  MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。可以安全模式修改root登录密码或者用随机密码登录修改密码。MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到，使用命令：
  
  grep 'temporary password' /var/log/mysqld.log
6. 修改root用户密码
  - mysql -u root -p 旧密码
  - 设置新密码，使用命令:
    
    set PASSWORD FOR ‘root’@’localhost’=新密码
    
    注意:密码不允许过于简单
  - 重新用新密码登陆
7. 设置开机自启动
  
  设置mysql服务，开机自动启动，使用命令:
  
  chkconfig mysqld on
8. 创建hive数据库用来保存hive元数据，使用命令
  
  create database hive;
9. 授权使 (操作系统用户)用户可以操作数据库hive中的所有表，使用命令
```
 grant all on hive.* to hadoop@'master' identified by 'hadoop';
 flush privileges;
```
  如果出现如下错误:
  
  是由于mysql5.7的安全策略问题，需要修改安全策略.
  1. 查看 mysql 初始的密码策略，使用命令：
    
    SHOW VARIABLES LIKE 'validate_password%';
  2. 需要设置密码的验证强度等级，使用命令:
    
    set global validate_password_policy=LOW;
  3. 重新设置密码长度，使用命令：
    
    set global validate_password_length=6;

Hive安装

下载hive

在下列网址http://archive-primary.cloudera.com/cdh5/cdh/5/下载hive的cdh版本

注意:当前cdh版本已经不在提供免费资源下载

解压hive压缩文件，使用命令:

 ``` tar -zxvf ~/software/hive-1.10-cdh5.7.0.tar.gz –C ~/app```

配置hive

进入hive安装目录的conf目录下，创建新文件hive-site.xml，使用命令:

sudo vi hive-site.xml

添加配置内容:

 <?xml version="1.0" encoding="UTF-8" standalone="no"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
     <property>
     <name>javax.jdo.option.ConnectionURL</name>
         <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
         </property>
     <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>com.mysql.jdbc.Driver</value>
     </property>
     <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>hadoop</value>
     </property>
     <property>
         <name>javax.jdo.option.ConnectionPassword</name>
         <value>hadoop</value>
     </property>
 </configuration>

修改hive-env.sh文件

拷贝conf目录下的hive-env.sh.template为hive-env.sh，使用命令:

cp hive-env.sh.template hive-env.sh

在hive-env.sh，使用命令:

sudo vi hive-env.sh

添加内容：
```
 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
```
追加mysql的jdbc驱动jar包

在hive解压目录的lib文件夹下添加mysql的jdbc驱动
配置环境变量，使用命令:

sudo vi /etc/profile

在/etc/profile文件末尾最佳hive的环境变量:
```
 export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
 export PATH=$HIVE_HOME/bin:$PATH
```
使用source /etc/profile命令，使配置生效
验证安装

保证hadoop已经启动，mysql服务已经开启，然后执行命令：

hive

进入Hive命令行，执行命令，创建一个名为test的表,并查询该表的记录数，使用命令:
```
 create table test(id int);
 select count(*) from test;
```
如果没有报错，表示安装成功!

查看mysql中的元数据