Hive安装部署

一、安装前准备

保证hadoop集群健康可用
参考hadoop3.X集群安装链接，这里不再赘述：
Hadoop3.X集群安装点这里
集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装
启动Hive之前必须先启动Hadoop集群，特别要注意，需等待HDFS安全模式关闭之后再启动运行Hive
Hive不是分布式安装运行的软件，其分布式的特性主要借由Hadoop完成，包括分布式存储和计算。

二、Hadoop与Hive整合

因为Hive要把数据存储在HDFS上，并且通过MapReduce作为执行引擎处理数据，因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上运行。
修改Hadoop中core-site.xml，并且在Hadoop集群同步配置文件，重启生效。
vim core-site.xml

hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *

三、安装MySQL（node3机器）

我这里安装的是MySQL5.7.30，具体安装步骤请访问以下链接，这里不再赘述：
MySQL5.7.30安装点这里
我这里MySQL的登录密码是hadoop。

四、安装Hive（node1机器安装）

1、上传并解压Hive安装包
cd /web/software
tar xf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin /web/server/
2、解决Hive与Hadoop之间guava版本差异
cd /web/server/apache-hive-3.1.2-bin/
rm -fr lib/guava-19.0.jar
cp /web/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/
3、修改配置文件
cd /web/server/apache-hive-3.1.2-bin/conf/
mv hive-env.sh.template hive-env.sh

vim hive-env.sh
export HADOOP_HOME=/web/server/hadoop-3.3.0
export HIVE_CONF_DIR=/web/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/web/server/apache-hive-3.1.2-bin/lib

vim hive-site.xml
需特别注意数据库的地址、端口号和密码

javax.jdo.option.ConnectionURL jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8 javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword hadoop hive.server2.thrift.bind.host node1 hive.metastore.uris thrift://node1:9083 hive.metastore.event.db.notification.api.auth false

4、上传mysql jdbc驱动到hive安装包lib下
cd /web/server/apache-hive-3.1.2-bin/lib
rz -y
mysql-connector-java-5.1.32.jar

5、初始化元数据
cd /web/server/apache-hive-3.1.2-bin
./bin/schematool -initSchema -dbType mysql -verbos

初始化成功会在mysql中创建74张表
mysql -u root -p'hadoop'
use hive3;
show tables;

6、在hdfs创建hive存储目录（如存在则不用操作）
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

7、启动hive
前台启动
/web/server/apache-hive-3.1.2-bin/bin/hive --service metastore
ctrl+c关闭服务
前台启动开启debug日志
/web/server/apache-hive-3.1.2-bin/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console
ctrl+c关闭服务
后台启动
nohup /web/server/apache-hive-3.1.2-bin/bin/hive --service metastore &
kill -9 进程号 关闭服务

五、Hive客户端

1、hive自带客户端
cd /web/server/apache-hive-3.1.2-bin/bin
hive为老版客户端
beeline为新版客户端

老板客户端直接访问metastore服务，进而访问元数据。
新版客户端会先访问hiveserver2服务，hiveserver2服务再去访问metastore服务，进而访问元数据
如用beeline则：
先启动
nohup /web/server/apache-hive-3.1.2-bin/bin/hive --service metastore &
再启动
nohup /web/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &
scp -r /web/server/apache-hive-3.1.2-bin/ node3:/web/server/
cd /web/server/apache-hive-3.1.2-bin
hive客户端连接
./hive

beeline客户端连接
./beeline

! connect jdbc:hive2://node1:10000
用户名：root
密码：为空，直接回车即可

show databases;
show tables;
2、hive可视化客户端
DataGrip、Dbeaver、SQuirrel SQL Client
datagrip下载地址
https://link.zhihu.com/?target=https%3A//www.jetbrains.com/datagrip/download
安装工具包

下载激活码
http://www.idejihuo.com/
激活地址
http://blog.idejihuo.com/wp-content/uploads/2022/04/jetbrains-license-servers.txt

至此，hive安装完成，谢谢观看！