2022年10月17日

dremio HomeFileSystemStoragePlugin简单介绍

摘要: 使用过dremio 的同学应该了解dremio 对于每个用户会支持一个@ 的导航(小房子标记) 参考接口效果 rest api 请求的,会包含一个containerType home 的就是HomeFileSystemStoragePlugin 产生的文件信息 HomeFileSystemStora 阅读全文

posted @ 2022-10-17 22:58 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

dremio 的服务管理

摘要: dremio 因为服务组件比较多,所以一些比较核心的可以做为服务的都会包装为一个service, 可以大大简化服务的管理,以及服务状态的统计 service 接口定义 public interface Service extends AutoCloseable { void start() thro 阅读全文

posted @ 2022-10-17 21:08 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dremio 的几种插件

摘要: dremio 插件化比较明显,支持各种场景的数据处理以下只说明oss 的,社区版的没有包含 格式化插件 当前支持的格式化扩展,主要对于内容进行格式解析 存储插件 实际上场景是各类外部需要集成的系统(sql,nosql,s3) FileSystem 插件 主要集成外部文件系统类的存储(nfs,s3,h 阅读全文

posted @ 2022-10-17 20:08 荣锋亮 阅读(49) 评论(0) 推荐(0) 编辑

dremio AbstractRecordReader 简单说明一

摘要: AbstractRecordReader 在dremio 实现了不同存储的数据读取处理,还是比较重要的,毕竟dremio 主要还是查询 AbstractRecordReader接口定义 AbstractRecordReader 实现了RecordReader接口,当然AbstractRecordRe 阅读全文

posted @ 2022-10-17 17:32 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dremio Operator 简单说明

摘要: 来自官方的一小段介绍 Operator 是执行的基础单元,Operator 对于一个或者多个input 数据 stream 进行消费,然后输出,他们是单线程的 同时包含了不同类型的Operator 同时也会包含不同的状态,但是所有的状态会通过一系列的MasterStates进行描述 主要包含四类op 阅读全文

posted @ 2022-10-17 17:30 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

导航