12、【Hive】使用JDBC方式访问HIve,启动客户端时报错java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration

  • 背景

    在启动完成hive服务:hive --service metastore

    启动hive2服务的过程中:hive --service hiveserver2

    报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration

  • 分析

    我的hive-site.xml配置文件:

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <!-- jdbc 连接的 URL -->
        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://pc001:3306/metastore?allowPublicKeyRetrieval=true&amp;useSSL=false</value>
        </property>
    
    <!-- jdbc 连接的 Driver-->
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
        </property>
    
    <!-- jdbc 连接的 username-->
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
        </property>
    
    <!-- jdbc 连接的 password -->
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>root</value>
        </property>
    
    <!-- Hive 元数据存储版本的验证 -->
        <property>
            <name>hive.metastore.schema.verification</name>
            <value>false</value>
        </property>
    
    <!--元数据存储授权-->
        <property>
            <name>hive.metastore.event.db.notification.api.auth</name>
            <value>false</value>
        </property>
    
    <!-- Hive 默认在 HDFS 的工作目录 -->
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
        </property>
    
    <!-- 指定存储元数据要连接的地址-->
        <property>
            <name>hive.metastore.uris</name>
            <value>thrift://pc001:9083</value>
        </property>
    
    <!-- 指定 hiveserver2 连接的 host -->
        <property>
            <name>hive.server2.thrift.bind.host</name>
            <value>pc001</value>
        </property>
    <!-- 指定 hiveserver2 连接的端口号 -->
        <property>
            <name>hive.server2.thrift.port</name>
            <value>10000</value>
        </property>
    
    </configuration>
    

    按提示显示,没有集成Tez。而Hive默认使用的引擎是MR,其配置文件hive-site.xml中的hive.execution.engine属性值为mr,而不是tez。

    该报错是一个WARN,60000ms后会自动重试启动(一般重试后会启动成功),通过查看网络端口:netstat -nltp,可以发现自定义的端口是生效的

    但是将报错日志(/tmp/nuochengz/hive.log)往上面翻,发现:

    2021-09-27T02:25:57,354 INFO [main] server.HiveServer2: HS2 interactive HA not enabled. Starting tez sessions..
    2021-09-27T02:25:57,354 INFO [main] server.HiveServer2: Starting/Reconnecting tez sessions..

    可以发现hive.server2.active.passive.ha.enable的默认值为

    [1] vim $HIVE_HOME/conf/hive-default.xml.template 
    [2] :/ hive.server2.active.passive.ha.enable
    

    所以可以将其值设置为true

    <!-- hiveserver2的高可用参数,开启此参数可以提高hiveserver2的启动速度 -->
    <property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
    </property>
    
  • 结论

    报错解决

posted @ 2021-09-27 15:32  Norni  阅读(979)  评论(0编辑  收藏  举报