【Flink系列五】构建实时计算平台——flink-connector-hive连接HiveMetastore遇到问题

合集 - 助力长期平稳运行大数据作业(23)

1.【Flink系列二十】Flink Example AsyncIOExample long running 应用程序的应用2023-10-262.【Flink系列二十一】深入理解 JVM的类型加载约束，解决 Flink 类型加载冲突问题的通用方法2023-12-293.【Flink系列十九】Flink 作业Hadoop 依赖冲突解决NoSuchMethodError2023-09-184.HDFS_DELEGATION_TOKEN过期的问题解决汇总2023-09-125.【Flink系列十八】History Server 重新登场，如何实现Yarn日志集成2023-05-316.【Flink系列十七】Flink 最新yarn-application和yarn-per-job部署模式的Classpath传递分析2023-05-297.【Flink系列十六】PrometheusPushGatewayReporter 限流压力过大解决2022-08-038.【Flink系列十五】FLINK-24950 registerTemporaryFunction NullPointerException2022-04-229.【Flink系列十四】Flink JVM参数不生效的问题分析和解决2022-04-1110.【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标2022-03-2411.【Flink系列十二】使用OpenResty 在InfluxDB协议层拦截Flink指标2022-03-1312.【Flink系列十一】FlinkSQL Gateway以及支持Kerberos多租户的实现思路2022-01-2613.【Flink系列十】Flink作业提交过程的调试和诊断2021-11-0214.【Flink系列九】Flink 作业提交遇到的问题记录以及原理2021-11-0115.【Flink系列八】构建实时计算平台——动态加载Catalog中的UDF2021-05-1016.【Flink系列零】构建实时计算平台——FlinkSQL 作业菜鸟笔记2021-05-1017.【Flink系列七】构建实时计算平台——校验FlinkSQL2021-04-1918.【Flink系列六】构建实时计算平台——Flink 1.10+通过Kerberos连接HiveCatalog2021-03-15

19.【Flink系列五】构建实时计算平台——flink-connector-hive连接HiveMetastore遇到问题2021-01-08

20.【Flink系列四】构建实时计算平台——Flink SQLClient启动失败的问题笔记2021-01-0521.【Flink系列三】构建实时计算平台——特别篇，Influxdb Java客户端访问指标数据2020-10-2922.【Flink系列二】构建实时计算平台——特别篇，用InfluxDb收集Flink Metrics2020-10-2323.【Flink系列一】构建实时计算平台——Flink开启和恢复Checkpoint2020-10-23

收起

问题

Flink通过Flink-hive-connector来连接Hive，但是连接Hive报错。

具体报错是因为：
HiveMetaStoreClient连接HiveMetastore 使用的Thrift协议，但是Hive-1.x 没有实现 secure impersonation，也就是说没有支持HADOOP_PROXY_USER这个变量。

环境和版本

• Hive的版本Hive-1.1.0
• 服务器开启Kerberos认证

分析

由于目前项目中连接的是Hive 1.1.0，而HADOOP_PROXY_USER是 2.3.0才支持的 HIVE-COMMIT

可以看到HiveMetaStoreClient.java中增加了如下代码：

    //If HADOOP_PROXY_USER is set in env or property,
    //then need to create metastore client that proxies as that user.
    String HADOOP_PROXY_USER = "HADOOP_PROXY_USER";
    String proxyUser = System.getenv(HADOOP_PROXY_USER);
    if (proxyUser == null) {
      proxyUser = System.getProperty(HADOOP_PROXY_USER);
    }
    //if HADOOP_PROXY_USER is set, create DelegationToken using real user
    if(proxyUser != null) {
      LOG.info(HADOOP_PROXY_USER + " is set. Using delegation "
          + "token for HiveMetaStore connection.");
      try {
        UserGroupInformation.getLoginUser().getRealUser().doAs(
            new PrivilegedExceptionAction<Void>() {
              @Override
              public Void run() throws Exception {
                open();
                return null;
              }
            });
        String delegationTokenPropString = "DelegationTokenForHiveMetaStoreServer";
        String delegationTokenStr = getDelegationToken(proxyUser, proxyUser);
        Utils.setTokenStr(UserGroupInformation.getCurrentUser(), delegationTokenStr,
            delegationTokenPropString);
        this.conf.setVar(ConfVars.METASTORE_TOKEN_SIGNATURE, delegationTokenPropString);
        close();
      } catch (Exception e) {
        LOG.error("Error while setting delegation token for " + proxyUser, e);
        if(e instanceof MetaException) {
          throw (MetaException)e;
        } else {
          throw new MetaException(e.getMessage());
        }
      }
    }

解决

这种操作英语里叫做backport

把上述代码，直接复制粘贴到HiveMetaStoreClient，编译出class字节码即可。

其中把下面的代码替换为

this.conf.setVar(ConfVars.METASTORE_TOKEN_SIGNATURE, delegationTokenPropString);
//上一行因为Hive 1.1.0没有这个枚举，因此直接替换为下方的字符串
this.conf.set("hive.metastore.token.signature", delegationTokenPropString);

亲测可行。