每日总结|9.21-Hive搭建及报错解决方案

搭建

安装hive

把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下

 

解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面

tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive 

 mv apache-hive-3.1.2-bin/ hive

修改/etc/profile.d/my_env.sh，添加环境变量

sudo vim /etc/profile.d/my_env.sh 

添加内容

#HIVE_HOME 
export HIVE_HOME=/opt/module/hive 
export PATH=$PATH:$HIVE_HOME/bin
保存后运行-> source /etc/profile

初始化元数据库

bin/schematool -dbType derby -initSchema 

启动并使用 Hive

启动 Hive

bin/hive

使用 Hive 

 show databases; 

show tables;

Hive 元数据配置到 MySQL 

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib 

 配置 Metastore 到 MySQL 

在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件

vim $HIVE_HOME/conf/hive-site.xml

插入如下内容

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
<!-- jdbc 连接的 URL --> 
<property> 
<name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value> 
</property> 
<!-- jdbc 连接的 Driver--> 
<property> 
<name>javax.jdo.option.ConnectionDriverName</name> 
<value>com.mysql.jdbc.Driver</value> 
</property> 
<!-- jdbc 连接的 username--> 
<property> 
<name>javax.jdo.option.ConnectionUserName</name> 
<value>root</value> 
</property> 
<!-- jdbc 连接的 password --> 
<property> 
<name>javax.jdo.option.ConnectionPassword</name> 
<value>root</value> 
</property> 
<!-- Hive 元数据存储版本的验证 --> 
<property> 
<name>hive.metastore.schema.verification</name> 
<value>false</value> 
</property> 
<!--元数据存储授权--> 
<property> 
<name>hive.metastore.event.db.notification.api.auth</name> 
<value>false</value> 
</property> 
<!-- Hive 默认在 HDFS 的工作目录 --> 
<property>
<name>hive.metastore.warehouse.dir</name> 
<value>/user/hive/warehouse</value> 
</property> 
</configuration> 

注意jdbc的url改成自己的！

登陆 MySQL 

mysql -uroot -proot

新建 Hive 元数据库

create database metastore; 
quit;

初始化 Hive 元数据库

schematool -initSchema -dbType mysql -verbose

再次启动Hive

bin/hive 

使用 Hive 

hive> show databases; 
hive> show tables; 
hive> create table test (id int); 
hive> insert into test values(1); 
hive> select * from test;

插入的时候如果一直停在

set mapreduce.job.reduces=<number>

 是由于yarn没有启动的问题，或者是启动机器ip不一致的问题：将启动脚本和yarn-site.xml中的resourcemanager节点对应起来就会解决