rongfengliang-荣锋亮

摘要： cdc-file-transfer 主要是场景是windows 到linux 主机的数据同步，包含了stream 以及rsync 两大工具 使用注意事项 首次执行会进行server copy，但是目前有点问题，如下，通过测试似乎和openssh 版本有关系，使用最新的没发现问题 linux serv 阅读全文

摘要： cdc-file-transfer 是基于content defined chunking 以及fastcdc 技术，cdc-file-transfer 目前提供了两种工具cdc_rsync 类似rsync 的同步能力，进行文件拷贝，但是性能相比rsync 会有30x的提升cdc_stream 基于 阅读全文

摘要： ctas 从使用上就是一个sql 操作，dremio 会基于sql 生成逻辑计划，然后到物理计划，之后到执行计划，然后会转变为对于支持写入操作 数据源的操作（目前包括了parquet 格式以及iceberg格式）, 当前对于支持CTAS 的主要是分布式存储（NAS，对象存储。。。）.我以前 简单说明 阅读全文

摘要： FormatMatcher 核心是对于文件系统进行进行格式匹配，方便查询以及执行引擎了解具体支持的数据格式，进行实际数据的处理 每个FormatPlugin 都需要包含一个格式化匹配器 参考类图 IcebergFormatMatcher 参考处理 参考iceberg table 格式 参考代码 /* 阅读全文