TEZ搭建

Hive集成Tez

Tez介绍：https://www.infoq.cn/article/apache-tez-saha-murthy

MR在hive2中已经被弃用了，推荐使用Tez或Spark作为执行引擎

1、编译

下载Tez源码并根据Hadoop版本进行

由于Tez官方所提供的安装包对某些Hadoop版本不支持，可采取手动编译方式

需准备好maven环境，手动编译难度较大

可参考https://tez.apache.org/install.html官方文档进行编译

若Hadoop为3.1系列版本，可直接使用所已经编译好的tez安装包：tez-0.10.2.tar.gz

2、上传并解压

# 将Tez安装包上传至任意位置，例如：放在/usr/local/soft/packages中
# 切换目录
cd /usr/local/soft/packages
# 创建解压后Tez存放的目录
mkdir /usr/local/soft/tez
# 将Tez解压到创建好的目录中
tar -zxvf tez-0.10.2.tar.gz -C /usr/local/soft/tez/

3、将tez安装包上传至HDFS

# 在HDFS上创建目录
hdfs dfs -mkdir -p /user/tez/
# 上传安装包并重命名，这里不需要解压，直接上传即可
hdfs dfs -put tez-0.10.2.tar.gz /user/tez/tez.tar.gz

4、修改环境变量

vim /etc/profile

# 在最后加入一下内容
# 如果在HBase中配置了`hadoop classpath`则不需要再配置
HADOOP_CLASSPATH=`hadoop classpath`
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/
TEZ_HOME=/usr/local/soft/tez
export TEZ_CONF_DIR=$HADOOP_CONF_DIR
export TEZ_JARS=$TEZ_HOME/*.jar:$TEZ_HOME/lib/*.jar
export HADOOP_CLASSPATH=$TEZ_CONF_DIR:$TEZ_JARS:$HADOOP_CLASSPATH

5、增加tez-site.xml配置文件

# 切换到Hadoop的配置文件所在目录，一般将tez的配置文件也放在此位置
cd /usr/local/soft/hadoop-3.1.1/etc/hadoop
# 创建并编辑文件
vim tez-site.xml

# 加入以下内容
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <!-- 指定在hdfs上的tez包文件 -->
  <property>
    <name>tez.lib.uris</name>
    <value>hdfs://master:9000/user/tez/tez.tar.gz</value>
  </property>
</configuration>

6、修改Hadoop相关配置文件

Hadoop是分布式模式运行，配置修改完成之后记得分发并重启集群

• yarn-site.xml

  这里贴出完整配置文件，按需修改

  主要是yarn.nodemanager.vmem-check-enabled以及yarn.nodemanager.pmem-check-enabled这两项配置

  由于机器资源有限，故关闭对内存的检查，否则任务运行容易出现资源不够的问题

  <?xml version="1.0"?>
  <configuration>
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
      </property>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
      <property>
          <name>yarn.log-aggregation-enable</name>
          <value>true</value>
      </property>
      <property>
          <name>yarn.log-aggregation.retain-seconds</name>
          <value>604800</value>
      </property>
      <property>
          <name>yarn.nodemanager.vmem-check-enabled</name>
          <value>false</value>
      </property>
      <property>
          <name>yarn.nodemanager.pmem-check-enabled</name>
          <value>false</value>
      </property>
  </configuration>
  

• mapred-site.xml

  主要是修改mapreduce.framework.name配置的值

  原本应该是yarn，现在改为yarn-tez，其他保持不变

      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn-tez</value>
      </property>
  

• capacity-scheduler.xml

  主要调整一下容量调度中AM的资源占比，保证yarn中能同时运行多个任务

  yarn.scheduler.capacity.maximum-am-resource-percent：AM能够使用的最大资源占比

  原本为0.1，这里直接改为1，也可根据情况自行调整

  不调整的话会导致Tez启动等待资源时间过长，进而影响整个HQL的查询时间

    <property>
      <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
      <value>1</value>
      <description>
        Maximum percent of resources in the cluster which can be used to run
        application masters i.e. controls number of concurrent running
        applications.
      </description>
    </property>
  

• 分发配置文件

  scp ./* node1:`pwd`
  scp ./* node2:`pwd`
  

• 重启yarn

  由于并未涉及到HDFS配置文件，故只需重启Yarn服务即可

  stop-yarn.sh
  start-yarn.sh
  

7、修改Hive配置文件

1、主要修改Hive执行引擎为Tez

2、由于资源有限，故还需设置Tez默认执行容器内存大小，否则Tez任务运行容易出现资源问题

3、hive.cli.tez.session.async：是否异步启动Tez会话，默认为true

​ 建议禁止，否则在Tez会话启动前就进入了Hive命令行，容易导致任务首次执行不成功

​ 如若开启，则需进入hive命令行速度会快一些，但成功执行HQL得等待Tez会话创建成功

# 切换目录
cd /usr/local/soft/hive-3.1.3/conf/
# 编辑hive-site.xml
vim hive-site.xml

# 增加下列配置，其他保持不变
  <property>
    <name>hive.execution.engine</name>
    <value>tez</value>
    <description>
      Expects one of [mr, tez, spark].
      Chooses execution engine. Options are: mr (Map reduce, default), tez, spark. While MR
      remains the default engine for historical reasons, it is itself a historical engine
      and is deprecated in Hive 2 line. It may be removed without further warning.
    </description>
  </property>

  <property>
    <name>hive.tez.container.size</name>
    <value>1024</value>
    <description>By default Tez will spawn containers of the size of a mapper. This can be used to overwrite.</description>
  </property>

  <property>
    <name>hive.cli.tez.session.async</name>
    <value>false</value>
    <description>
      Whether to start Tez
      session in background when running CLI with Tez, allowing CLI to be available earlier.
    </description>
  </property>

8、解决log4j冲突问题

由于hadoop、hive、tez包中都包含了log4j的依赖，一起搭配使用会造成冲突

故只保留hadoop自带的即可，将hive、tez对应的jar包重命名即可

# 切换tez下的lib目录
cd /usr/local/soft/tez/lib
# 将log4j对应jar包进行重命名
mv slf4j-log4j12-1.7.25.jar slf4j-log4j12-1.7.25.jar.bak
mv slf4j-reload4j-1.7.36.jar slf4j-reload4j-1.7.36.jar.bak

9、启动Hive

切换Tez执行引擎后，hive启动以及HQL执行的日志较多，可参考前面第11步，将日志打印级别设为WARN或者ERROR

hive

10、验证Tez引擎

使用安装步骤第10步中test库下的students表进行查询验证

对比基于MR和Tez两种计算引擎的执行速度

-- 切换库
use test;

-- 统计班级人数，并按人数降序排列
select clazz,count(*) as cnt from test.students group by clazz order by cnt desc;

• 开启Tez引擎后执行会有如下输出

  未报错并有结果即说明Tez引擎切换成功

  Tez执行速度明显变快