通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题

一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中）
比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译
源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是直接编码是挺复杂的
主要是dremio 的依赖包比较多，编译复杂

简单的解决方法

直接就要字节码修改，同时基于winrar 直接替换配置就可以了

参考操作

• 安装idea插件

 

 

• 打开需要修改的jar 文件（s3 plugin）

 

 

• 找到字段

 

 

• 编辑修改

（注意下图的false是我修改过的实际没有(false)） 我就是通过添加(false)让可以支持序列化的

 

 

• 之后保存修改就可以了
• 配置修改

配置需要时添加暴露的配置信息

 

 

• 重新copy jar 到dremio 的jars中
  这个比较简单，参考docker的修改

 

FROM dremio/dremio-oss

USER root

RUN rm -rf /opt/dremio/jars/dremio-s3-plugin-17.0.0-202107060524010627-31b5222b.jar

COPY dremio-s3-plugin-17.0.0-202107060524010627-31b5222b.jar /opt/dremio/jars/dremio-s3-plugin-17.0.0-202107060524010627-31b5222b.jar

使用

添加s3 数据源，熟悉的功能出现了。。。。

 

 

说明

以上是通过直接修改配置解决的，同时对应的plugin 我已经放到github了，可以参考使用

参考资料

https://github.com/ingokegel/jclasslib
https://github.com/dremio/dremio-oss
https://github.com/rongfengliang/dremio-s3-plugin