Hive集成Atlas增量导入元数据失效问题

一、Hive客户端报错内容

22/06/08 11:49:04 WARN clients.NetworkClient: [Producer clientId=producer-1] Bootstrap broker xxx.xxx.xx.xxx:9092 (id: -1 rack: null) disconnected

　　大致的原因就是Kafka连接不上

二、定位问题

　　找了半天，最后检查Kafka也是没有什么问题的，原因在于之前修改了atlas配置文件，添加了kafka的sasl验证，而Hive的lib目录下的atlas-hive-plugin-impl/atlas-intg-2.1.0.jar 包中保存的配置文件又是旧的，所以自然就会报错

三、解决

　　将最新的atlas-application.properties重新压至atlas-intg-2.1.0.jar包即可，压缩命令如下：

zip -u atlas/hook/hive/atlas-hive-plugin-impl/atlas-intg-2.1.0.jar atlas-application.properties

　　完成之后再将atlas/hook/hive/目录下的所有文件拷贝至Hive的lib目录

cp -r atlas/hook/hive/* /opt/cloudera/parcels/CDH/lib/hive/lib

四、最后测试，发现Kafka的ATLAS_HOOK出现数据，Atlas也能查询出增量导入的元数据