2022年3月2日

dremio 社区版目前依赖的一些闭源包

摘要: dremio 并不是100%开源的,其中就包含一些以dremio-ce 开头的包,目前这些包是在构建阶段打包进去的 但是这些包还是比较重要的,比如jdbc,es,kernel 以及scheduler 参考清单 基于20.1.0 版本的 dremio-ce-elasticsearch-plugin-2 阅读全文

posted @ 2022-03-02 20:51 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑

dremio 源码分析学习的几个方便工具

摘要: 很多时候我们需要开发自己的dremio 扩展(jdbc arp 扩展,存储扩展,格式扩展),dremio 代码相对是比较多的学习起来还是不好弄的,但是我们可以结合一些工具简化我们代码的问题 可选工具 arthas 使用此工具可以很好的了解调用链(方便对于调用链分析) jprofiler 很多时候我们 阅读全文

posted @ 2022-03-02 18:18 荣锋亮 阅读(221) 评论(0) 推荐(0) 编辑

dremio CTAS 以及DROP 功能简单说明

摘要: dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的,而且这个功能很好扩展 可修改存储扩展接口定义 从下图可以看出,对于可变存储,也是继承自StoragePlugin,只是扩展了自己的方法,包含了 不少数据修改的操作,对于CTAS 以及DROP 就是基于此能力提供的 s3 阅读全文

posted @ 2022-03-02 13:15 荣锋亮 阅读(100) 评论(0) 推荐(0) 编辑

dremio 社区flight 格式化扩展说明

摘要: 实际上代码来自一个老项目,现在dremio 的变动还是很大的,项目是运行不起来的,但是还是很值得学习参考的 开发说明 formation 是基于dremio 3.0 版本,特别老的,,此版本对于reader 以及writer的处理还是很复杂的,代码量很大, 详细的可以参考代码,开发机制相对有点复杂, 阅读全文

posted @ 2022-03-02 13:11 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

导航