关于 CDH 环境中部署 Dolphinscheduler 出现 hive-jdbc 包冲突的解决办法
目前社区小伙伴经常反映在 cdh 环境中部署 Dolphinscheduler 出现 hive 包冲突的问题，报错日志信息如下:
[WARN] 2020-04-29 09:55:30.815 org.eclipse.jetty.server.HttpChannel:[590] - /dolphinscheduler/datasources/connect
org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1053)
at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:942)
at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1005)
Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.thrift.TFilterTransport
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
这是由于官方包中的 hive-jdbc 与 cdh 环境中的版本不一致导致的，下列两种方式可以解决该问题。
1. 通过源码编译部署
如果您通过源码编译进行部署，则可以通过修改 pom 文件的方式替换 hive-jdbc 包为cdh 版本。
修改 pom.xml 文件
配置 cloudera 仓库信息
<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories>修改 hive.jdbc.version
<!-- 这⾥以cdh5.15.1和cdh6.3.1为例, 可按实际情况修改为对应版本。 --> <!-- cdh5.15.1 --> <hive.jdbc.version>1.1.0-cdh5.15.1</hive.jdbc.version> <!-- cdh6.3.1 --> <hive.jdbc.version>2.1.1-cdh6.3.1</hive.jdbc.version>增加 hive-shims
<!-- 具体版本按实际情况指定 --> <hive.shims.version>1.1.0-cdh5.15.1</hive.shims.version> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-shims</artifactId> <version>${hive.shims.version}</version> </dependency>
修改后重新打包编译:
mvn -U clean package -Prelease -Dmaven.test.skip=true
打包完成后可以在lib中看到如下 hive-jdbc 相关 jar 包，说明打包完成， 可以进行部署。
hive-classification-1.1.0-cdh5.15.1.jar
hive-common-1.1.0-cdh5.15.1.jar
hive-jdbc-1.1.0-cdh5.15.1.jar
hive-metastore-1.1.0-cdh5.15.1.jar
hive-serde-1.1.0-cdh5.15.1.jar
hive-service-1.1.0-cdh5.15.1.jar
hive-shims-0.23-1.1.0-cdh5.16.1.jar
hive-shims-1.1.0-cdh5.16.1.jar
hive-shims-common-1.1.0-cdh5.16.1.jar
hive-shims-scheduler-1.1.0-cdh5.16.1.jar
由于 cloudera 仓库对网络有一定要求， 如果打包时下载jar包报错，可以先将官网的包直接部署，并参照已使用官方包部署进行处理。
2. 已使用官方包部署
如果您先前已使用官方包进行部署，那么可在 cdh 集群的任意节点中， 找到 cdh 版本的 hive包。
以我的环境为例，hive包在下列路径中:
/opt/cloudera/parcels/CDH/jars
同样的，只需要在这个路径中找到hive-jdbc相关的包， 然后替换掉Dolphinscheduler lib 中的 hive 包即可(需要移除原先的 hive-jdbc 相关包)。
以下为cdh6所需要的包:
hive-common-2.1.1-cdh6.3.1.jar
hive-jdbc-2.1.1-cdh6.3.1.jar
hive-metastore-2.1.1-cdh6.3.1.jar
hive-serde-2.1.1-cdh6.3.1.jar
hive-service-2.1.1-cdh6.3.1.jar
hive-service-rpc-2.1.1-cdh6.3.1.jar
hive-shims-0.23-2.1.1-cdh6.3.1.jar
hive-shims-2.1.1-cdh6.3.1.jar
hive-shims-common-2.1.1-cdh6.3.1.jar
hive-shims-scheduler-2.1.1-cdh6.3.1.jar
替换完成后，重启 Dolphinscheduler 即可。
