hive 常用引擎配置

一. 常用hive引擎

1. 自带的mr引擎,不需要额外配置
2. hive on spark
   在hive的搭建博客中已经进行了hive on spark的配置
   https://www.cnblogs.com/lebaishi/p/15693708.html
3. hive on tez
   基于内存计算的引擎

二. 配置tez引擎

1. 官网下载tez安装包
   https://tez.apache.org/
   官网下载的安装包一般需要自己修改成自己环境对应版本进行编译,编译好后有两个包,编译时将tez-ui模块注释掉,需要连接外网,不然成功率极低
   

2. 上传安装包到服务器,并解压

mkdir /opt/module/tez-0.10.1
#解压
tar -zxvf tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez-0.10.1/
#hdfs上新建tez目录
hdfs dfs -mkdir /tez
#上传tez安装包
hdfs dfs -put /opt/software/tez-0.10.1-SNAPSHOT.tar.gz /tez/

3. hadoop配置文件目录创建tez-site.xml

vim $HADOOP_HOME/etc/hadoop/tez-site.xml
#添加以下内容
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/tez/tez-0.10.1-SNAPSHOT.tar.gz</value>
    </property>
    <property>
        <name>tez.use.cluster.hadoop-libs</name>
        <value>true</value>
    </property>
    <property>
        <name>tez.am.resource.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>tez.am.resource.cpu.vcores</name>
        <value>1</value>
    </property>
    <property>
        <name>tez.container.max.java.heap.fraction</name>
        <value>0.4</value>
    </property>
    <property>
        <name>tez.task.resource.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>tez.task.resource.cpu.vcores</name>
        <value>1</value>
    </property>
</configuration>

4. 修改hadoop环境变量

cd /opt/module/hadoop-3.1.3/etc/hadoop/shellprofile.d
vim tez.sh
#添加以下内容:
hadoop_add_profile tez
function _tez_hadoop_classpath
{
 hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" after
 hadoop_add_classpath "/opt/module/tez-0.10.1/*" after
 hadoop_add_classpath "/opt/module/tez-0.10.1/lib/*" after
}

5.配置tez container大小

cd /opt/module/hive-3.1.2/conf/
vim hive-site.xml
#添加以下内容
<!-- 设置tez container大小 -->
<property>
 <name>hive.tez.container.size</name>
 <value>1024</value>
</property>

6. 测试hive各个三种引擎执行情况
   mr:
   

spark:
第一次执行任务,启动spark任务会很慢,需要创建目录和初始化

tez:

大功告成!