2021年9月3日

通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题

摘要: 一个实际存在的问题,dremio 新版本禁用了create table 的能力(直接写入数据到外部文件系统中) 比如s3,通过反编译查看官方的源码解决方式是通过jsonignore 解决的,那么问题就简单了,可以反编译 源码,删除注解,重新打包就可以了,同时还需要修改下plugin 的配置文件,但是 阅读全文

posted @ 2021-09-03 23:57 荣锋亮 阅读(88) 评论(0) 推荐(1) 编辑

dremio 17 混合类型的问题

摘要: 混合类型在dremio17 是一个比较费事问题,增加了代码处理,实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化(目前ui是有一些bug 的,但是还是可以使用的) 说明 dremio 18 也 阅读全文

posted @ 2021-09-03 22:51 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

jackson jsonlines 处理-读取以及生成

摘要: jsonlines 在数据分析处理以及批量json 处理中是比较常用的,以下是基于jackson 的处理 场景说明 基于jackson 读取以及生成jsonlines 参考代码 jsonlines 格式 {"0":"ddd","1":"11","2":"111","3":"111"} {"0":"d 阅读全文

posted @ 2021-09-03 13:08 荣锋亮 阅读(577) 评论(0) 推荐(0) 编辑

dremio 18 预览版发布了

摘要: dremio 最近发布了18 预览版,好多新的特性,不好的地方是暂时还没有提供软件包 参考的新特性 近实时的反射元数据刷新 近实时的元数据刷新 新的job 历史以及详情界面(具体还要看官方的软件包了,暂时还没提供) 新的查询可视化器(需要等待发版体验) 混合类型移除(需要自己手工处理,目前17就有这 阅读全文

posted @ 2021-09-03 09:27 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

导航