3.1 Hive 安装部署（Hadoop3.0）

3.1 Hive 安装部署（Hadoop3.0）

【实验目的】

1.了解Hive的安装部署

2.了解Hive的工作原理

【实验原理】

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不适合那些需要低延迟的应用，它最适合应用在基于大量不可变数据的批处理作业，例如，网络日志分析。

Hive的特点是：可伸缩（在Hadoop集群上动态的添加设备）、可扩展、容错、输出格式的松散耦合。

Hive将元数据存储在关系型数据库（RDBMS）中，比如MySQL、Derby中。

Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。

【实验环境】

AnolisOS8.8

Java 1.8.0

Hadoop-3.0.0

Eclipse-JEE 2022.03

HBase 1.4.10

mysql-8.0.26

Pycharm

【实验内容】

在已安装好的Hadoop和MySQL环境基础上，安装并配置Hive。

【实验步骤】

切换到vmuser用户（vm123456）

su vmuser

1首先在Linux本地，新建/HDFS/hive1目录，用于存放所需文件。

sudo mkdir -p /data/hive1

切换目录到/HDFS/hive1下，使用wget命令，下载hive所需安装包以及MySQL连接器。

cd /data/hive1

wget http://hadoop3/apache-hive-2.3.5-bin.tar.gz

wget http://hadoop3/mysql-connector-java-8.0.28.jar

2.将/HDFS/hive1目录下的apache-hive-2.3.5-bin.tar.gz，解压缩到/apps目录下。

sudo chown -R vmuser:vmuser /data/hive1

tar -xzvf apache-hive-2.3.5-bin.tar.gz -C /apps/

再切换到/apps目录下，将/apps/apache-hive-2.3.5-bin，重命名为hive。

cd /apps

mv /apps/apache-hive-2.3.5-bin/ /apps/hive

3.使用vim打开用户环境变量。（sudo命令密码：vm123456）

sudo vim ~/.bashrc

将Hive的bin目录，添加到用户环境变量PATH中，然后保存退出。

#hive config

export HIVE_HOME=/apps/hive

export PATH=$HIVE_HOME/bin:$PATH

执行source命令，使Hive环境变量生效。

source ~/.bashrc

4.由于Hive需要将元数据，存储到MySQL中。所以需要拷贝/data/hive1目录下的mysql-connector-java-8.0.28.jar到hive的lib目录下。

cp /data/hive1/mysql-connector-java-8.0.28.jar /apps/hive/lib/

5.下面配置Hive，切换到/apps/hive/conf目录下，并创建Hive的配置文件hive-site.xml。

cd /apps/hive/conf

touch hive-site.xml

使用vim打开hive-site.xml文件。

vim hive-site.xml

并将下列配置项，添加到hive-site.xml文件中。

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true&amp;characterEncoding=latin1&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.cj.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>strongs</value>

</property>

</configuration>

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。

javax.jdo.option.ConnectionURL：数据库链接字符串。

javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。

javax.jdo.option.ConnectionUserName：数据库用户名。

javax.jdo.option.ConnectionPassword：连接数据库的密码。

此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

6.另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改hive-env.sh文件。

首先我们将hive-env.sh.template重命名为hive-env.sh。

mv /apps/hive/conf/hive-env.sh.template /apps/hive/conf/hive-env.sh

使用vim打开hive-env.sh文件。

vim hive-env.sh

定位到文件末尾，追加Hadoop的路径，以及Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory

# HADOOP_HOME=${bin}/../../hadoop

HADOOP_HOME=/apps/hadoop

# Hive Configuration Directory can be controlled by:

# export HIVE_CONF_DIR=

export HIVE_CONF_DIR=/apps/hive/conf

Mysql安装

https://blog.csdn.net/weixin_40979518/article/details/132661876

https://blog.51cto.com/u_15064632/4842195

https://zhuanlan.zhihu.com/p/632935077

https://www.cnblogs.com/marineblog/p/16118916.html

https://blog.csdn.net/smile_pbb/article/details/135899500 <参考此文档>

https://blog.csdn.net/zhikanjiani/article/details/89072608

https://blog.csdn.net/Hi_Red_Beetle/article/details/88743821

https://blog.csdn.net/yuelai_217/article/details/123048748

https://blog.csdn.net/Hi_Red_Beetle/article/details/88743821

https://blog.csdn.net/weixin_45713608/article/details/128838956

yum -y install mysql-server –nogpgcheck

# service mysqld status 查看mysql当前的状态

# systemctl status mysqld

# service mysqld stop 停止mysql

# systemctl stop mysqld

# service mysqld restart 重启mysql

# systemctl restart mysqld

# service mysqld start 启动mysql

# systemctl start mysqld

https://blog.csdn.net/weixin_46589575/article/details/127044881

<后部分>

mysql> use mysql;

mysql> show tables;

select user,authentication_string from user;

ALTER USER 'root'@'localhost' IDENTIFIED BY 'strongs';

flush privileges;

exit;

mysql -h localhost -P 3306 -u root -p

7.下一步是配置MySQL，用于存储Hive的元数据。

首先，需要保证MySQL已经启动。执行以下命令，查看MySQL的运行状态。

sudo service mysqld status

sudo systemctl status mysqld

若MySQL未启动，则执行启动命令。

sudo service mysqld start

service mysqld start

8.开启MySQL数据库。（密码为strongs）

sudo mysql -u root -p

创建名为hive的数据库，编码格式为latin1，用于存储元数据。

create database hive CHARACTER SET latin1;

查看数据库是否创建成功。

show databases;

下面，输入exit退出Mysql。

9.执行测试。

由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。

启动Hadoop。

/apps/hadoop/sbin/start-all.sh

输入jps，查看进程状态

jps

初始化元数据库

schematool -dbType mysql -initSchema

启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

hive

输入HQL语句查询数据库，测试Hive是否可以正常使用。

Hive安装完毕。

至此，实验结束！