dremio 学习七 开发arp 连接器

arp 是dremio 提供的一个高级关系下推框架，可以方便我们开发自定义的数据连接器

arp 开发流程

• 结构 (比drill 开发方便多了) 
  存储插件配置 [data source]Conf,java 
  插件arp yaml 定义文件 [data source].arp.yaml
• 说明 
  配置定义了，界面如何进行连接配置，以及数据驱动如何使用 
  arp yaml 文件，可以进行sql 查询的修改，可以进行不同数据类型、函数，以及重写

arp 文件格式

• 包含的部分 
  主要包含以下几个部分 
  Metadata 高级元数据信息 
  Syntax 语法 
  Data types 定义了jdbc 驱动的数据类型以及如何与dremio 类型映射 
  Relational Algebra 包含以下部分 
  Aggregation 指定聚合算法，可以进行重写 
  excep/project/join/sort/union/unpin_all/values 自定操作的支持情况 
  exressions 概述操作的支持 
  operators 概述标量操作的支持，同时可以进行重写 
  variable_length_operators 定义标量支持的操作的数量，比如and、 or （算是逻辑操作）

参考模板

https://github.com/dremio-hub/dremio-sqllite-connector/blob/master/src/main/java/com/dremio/exec/store/jdbc/conf/SqliteConf.java

说明

dremio 的arp 开发是扩展数据连接一个很不错的选择，同时开发也不是很难， 实际中如果大家为了方便我们可以直接集成
maven-shade-plugin 方便jdbc 驱动依赖的集成,后边尝试写一个简单的驱动插件,同时如果注意观察，会发现有些开源的扩展
对于ui 部分使用了一个json 定义文件，这样编写插件就更简单了

参考资料

https://www.dremio.com/tutorials/how-to-create-an-arp-connector/
https://github.com/panoramichq/dremio-bigquery-connector
https://github.com/dremio-brock/dremio-dynamodb-connector