rongfengliang-荣锋亮

摘要： Castled 的connector利用了schema 以及中间表进行数据存储（包含的已经提交的，未提交的） 官方使用了一个属于snapshot(快照)，对于数据的处理，官方使用了excep sql 函数，基于不同 时间的snapshot 利用excep 就可以知道数据的变动 几个提供的中间表 主要 阅读全文

摘要： connector模块中的WarehousePollContext是比较重要的 代码说明 关于pipeline 格式的定义 了解pipeline格式定义，对于分析后边的代码是很有意义的,可以知道依赖的模块 public class PipelineConfigDTO { @NotNull priva 阅读全文

摘要： app 部分属于Castled处理外部链接的核心，主要包含了ExternalAppConnector以及DataSink 核心组件 ExternalAppConnector 选取了部分 DataSink 选取了部分 BufferedObjectSink 此对象是在每个DataSink实现都会包含的一 阅读全文

摘要： connector 属于Castled 一个比较核心的东西，包含了核心部分的datawarehouse数据poll 处理，同时也包含了对于不同外部服务集成的处理 当然才代码中我们也可以看到一部分基于stream 的处理（文件，jdbc，s3.。。。），auth部分基于了oauth目前更多是关注认证， 阅读全文

摘要： Castled 的comon 模块包含了一个比较核心的东西form处理（官方成为CFL），同时也包含了一个常用的工具类CFL 是基于注解处理的，整体代码不是很多，比较重要的是schema，cfl，同时包含了Castled 自己开发的一个简单队列（阻塞以及带偏移的），同时定义了一些关于数据处理的接口定 阅读全文

摘要： jarvis 模块主要保基于quartz 包装了一些调度以及任务管理,包含了刷新job ，全局job 同时也暴露为了一个通用的guice 模块，同时基于jesque进行后台任务以及延迟任务的处理 通过代码会发现jesque 占比是比较多的（好多任务处理的，状态标记的），而且quartz更多是 与后台 阅读全文

摘要： substrait 是最近开源的一个很不错的项目，主要是用来解决关系代数的转换，可视化，主要是想实现一个通用的sql 处理标准项目很多参考了apache calcite 以及apache arrow，官方目前已经包含了一个参考指南 说明 substrait 从目前项目的规划以及介绍还是很有前途的，值 阅读全文