【持续更新中】开源贡献记录

2020.1.24
作用：使kudu connector支持kerberos认证，且在续期有效期过了后能自动获取新票据
目前：merged
 
2020.2.4
作用：支持线上自动增删改Presto catalog，且支持定制是否开启此特性
目前：open
切换到0.235版本后，同样的代码报错了，delete catalog后重新加载却报already异常，可能是个隐藏的bug，已提交了新的pr解决
现在社区对这块的必要性有疑问，而且要改成Executor创建线程的模式
 
2020.4.21
作用：删除连接器时新增清理PlanOptimizerProvider
目前：merged
 
2020.6.2
FLINK-12428 +14 -71
翻译flink事件时间
目前：merged 2020.6.29
 
2020.6.23
FLINK-18324 +268 −66
翻译更新后的数据类型
目前：merged 2020.6.28
 
2020.6.29
[hotfix][docs] +4 -4
更正 event_time 文档里的 python 示例的时间特征为 Event
目前：merged 2020.6.30
 
2020.6.30
翻译更新后的udf
目前：closed 应该merge到release-1.11
 
2020.6.30
FLINK-18324 +740 −309
翻译更新后的udf
目前：merged 2020.7.12
 
2021.7.27
消除分隔路径时scheme的影响
目前：open
 
2021.8.6
FLINK-23661 +1 -1
优化代理网络环境下，使用maven而不是插件自身机制，下载protobuf plugin，修复flink-python模块的编译
目前：merged 2021.8.9
 
2021.9.27
+3 -3
RocketMQDynamicTableSink#convertToRowTypeInfo() 不只返回类型，也返回字段名
目前： merged 2021.9.27
 
2021.10.19
FLINK-24585 +12 -3
打印合并文件日志时，也输出文件大小的变化
目前：merged 2021.10.20
 
2021.12.18
FLINK-25369 +79 -8
CatalogManager提供给定库的的表列表，而不是当前库的表列表
目前：merged 2022.1.11
 
2021.12.23
junit4 assertEquals支持平台兼容性
目前：canceld 官方觉得用assertJ也能解决
 
2022.1.14
FLINK-25631 +592 −11
支持show tables高级语法，直接从指定库获取表情况，也支持正则匹配
目前：merged 2022.3.4 不容易啊，近600行新增代码的大更新，断断续续持续两个多月的开发与修改
 
2022.2.4
FLINK-25882 +41 −53
flink-web使用Matomo代替Google Analysis收集网站用户信息，更新了隐私政策，翻译成中文
目前：merged 2022.2.4
 
2022.3.15
FLINK-26578 +743 −665
把新的项目配置章节翻译成中文
目前：merged 2022.3.19 后面还建了个bp 1.15，因为master现在是1.16，已建1.15分支还未发布，需要合进去
 
2022.3.16
FLINK-26677 +16 -16
flink-connector-base已经shade进了其他连接器，table-store构建受到影响，也要进行相应的修改
目前：merged 2022.3.16
 
2022.4.8
FLINK-27172 +158 -8
支持flink提供的bulk format如parquet、csv
目前：merged 2022.4.12
 
2022.4.12
FLINK-27207 +835 -2
使flink-table-store内置parquet format，支持提取统计信息，解耦flink-sql-parquet模块
目前：merged 2022.5.21完成开发提交，底层接口后来做了很多改造，适配起来比较复杂，2022.8.29完成改造，2022.9.5合入

  

2022.8.25
+114 -21
支持给rocketmq连接器定义scanStartupMode
目前：merged 2022.8.30
 
2022.8.30
FLINK-29042 +976 -60
支持es连接器作为lookup
目前：merged 2023.9.12 本来是往基于flink主仓库开发的，rebase后发现这个连接器从主仓库移除了，又基于新的connector仓库开发。。但迟迟不review。2023年先在github问了没人回，然后在slack发消息，很快就有人回复了，review后改了一些小问题，过了半个月就合了
 
2022.10.19
FLINK-29679 +349 -128
迁移到新的schema框架，describe和show columns语句显示列的comment
目前：merged 2022.12.14 一开始以为只是简单的需求，后来发现需要迁移create table后的表到新的schema框架，随之而来的是要适配planner以及部分连接器，非常复杂。这个需求确实是个痛点，很多人都准备做，为了能顺利合入也是各种催，中间挺慌的，经历了两个月还算顺利

  

2022.10.28
FLINK-29787 +4 -3
修复ci japicmp兼容检查插件报METHOD_NEW_DEFAULT问题
目前：merged 2022.10.28 提交FLINK-29679时发现ci总报错，排查发现是接口在1.17变动不小，会触发japicmp检查异常
 
2022.11.1
FLINK-29829
使不同平台的explain输出结果一致，目前windows比linux多一行，因为之前是通过删最后一个字符的形式删最后一行的
目前： closed 说是社区只支持linux，好吧，看来这个不行
 
2022.12.17
FLINK-30435 +251 -47
在FLINK-29787基础上给show create table语句执行结果里加上列注释
目前：merged 2023.3.22
 
2023.3.10
FLINK-31292 +531 -1
引入HadoopUtils，支持CatalogContext正确加载hadoop配置
目前：merged 2023.3.11
 
2023.8.30
+226 -101
datagen连接器生成符合schema的数据
目前：merged 2023.12.18
 
2023.10.27
+18 -1
1.18发布后，更新es连接器仓库的CI配置
目前：merged 2023.10.31
 
2023.11.3
+46 -51
翻译 DataSet 迁移到 DataStream 文档
目前：merged 2023.11.13
 
2023.11.17
+1 -1
升级json-path版本到2.8.0，解决CVE-2023-1370
目前：merged 2023.11.17 calcite的第一个mr

  

2023.11.24
+392 -45
对于可变长字段，生成可变长的数据
目前：merged 2023.12.2
 
2021.11.17
+434 -10
支持show create catalog语法
目前：merged 2024.4.7 在2024.1.2找Jark聊了assign了，要了FLIP编辑权限，现在新加语法都要先提FLIP讨论然后投票，比之前严格很多。3.13发邮件讨论FLIP-436，3.19投票，3.22投票通过，4.7终于合入了，跨度达到了两年多，终于完成了

 

 
2024.3.22
+553 -28
完善describe catalog语法
目前：merged 2024.4.28

 

 
2024.3.22
+517 -14
支持alter catalog set语法
目前：merged 2024.5.9

 

 
2024.4.18
+511 -198
支持alter catalog reset语法
目前：merged 2024.6.13

 

 
2024.3.22
+298 -41
Catalog引入comment，支持增强的create catalog语法
目前：merged 2024.6.14

 

 
2024.3.22
+418 -13
支持alter catalog comment语法
目前：merged 2024.6.15

 

 
2024.6.14
+1 -1
修复LocatableSplitAssignerTest#testConcurrentSplitAssignmentForMultipleHosts
目前：merged 2024.6.14 为了赶1.20 code freeze，半夜2点完成FLIP-436后，起来又发现CI失败了，排查是其他人刚提交的一个commit里的test有bug，很快修复了提了pr
 
​

 2024.6.16

[FLINK-35621] Release Testing Instructions: Verify FLIP-436: Introduce Catalog-related Syntax - ASF JIRA

1.20 feature freeze后，需要对各FLIP进行cross-team验证，我这个FLIP-436也需要验证，需要先写上验证步骤

目前：closed 已经更新验证方法

 

2024.8.29

https://github.com/apache/paimon/pull/4100

+48 -8

支持schemas系统表schema_id下推优化

目前：merged 2024.8.29 工作中有人反映了个问题，查4000个schema文件的paimon schemas系统表耗时半小时，可以达到秒级查询，很快优化后提了mr，在群里也说了，很快当天就合了，效率很高

 

2024.11.13

https://github.com/apache/paimon/issues/4514

+178 -6

支持特定sequence group的部分更新删除整行

目前：merged 2024.11.14 工作中遇到的场景，在钉钉群问了李劲松看这个需求合理不，说是可以，很快在白天就开发完成了，晚上又完善到11点多，第二天很快就合了

  

2024.11.21

https://github.com/apache/paimon/pull/4560

+5 -3

更新delete语法文档

目前：merged 2024.11.22 在看delete语法相关特性时，发现文档已经过时了，没有写新特性，提了个pr更新

 

2024.12.12

https://github.com/alibaba/fluss/pull/171

+49 -49

修复Fluss typo

目前：merged 2024.12.12

 

2024.12.18

https://github.com/alibaba/fluss/pull/218

+35 -1

Fluss web支持PWA特性，可安装chrome应用

目前：merged 2024.12.20 在看fluss文档过程中发现不像flink、paimon那样支持独立的chrome应用，fluss web用的是docusaurus框架，看了下在本地验证后是能加的，也基于类似方案建了个仓库做自己的博客，提pr后合了

 

2024.12.23

https://github.com/alibaba/fluss/pull/248

+1

Fluss web deploy.sh加npm install，防止package变化时未正常安装

目前：merged 2024.12.23 看了下加的pwa特性还没体现到官网上，排查了下是部署脚本缺少install步骤

 

2024.12.29

https://github.com/alibaba/fluss/pull/287

epoll通信场景bind-port绑定异常不应关闭NettyServer

目前：merged 2025.1.15

 

2025.1.17

https://github.com/apache/paimon/issues/4942

+330 -41

在动态桶模式下支持上限

目前：merged 2025.2.19

 

2025.2.13

https://github.com/apache/paimon/pull/5073

+77 -4

补充migrate相关procedure的文档

目前：merged 2025.2.17

 

2025.2.20

https://github.com/apache/paimon/pull/5127

+8 -4

补充spark __paimon_row_index metadata列

目前：merged 2025.2.21

 

2025.2.21

https://github.com/apache/paimon/pull/5134

+104 -760

优化github actions结构和执行

目前：merged 2025.3.3

 

2025.2.25

https://github.com/apache/paimon/pull/5146

+4 -4

修复dedicated compaction bug

目前：merged 2025.2.25 在优化github actions时报CI异常，排查后发现新提交的一个commit引入了bug，很快修复了

 

2025.2.26

https://github.com/apache/paimon/pull/5167

+15 -25

优化 Kafka 容器以使用 KRaft 而不是依赖 ZooKeeper

目前：merged 2025.2.27

 

2025.3.3

https://github.com/apache/paimon/pull/5198

+23 -2

fallback branch特性支持跨分区

目前：merged 2025.3.3

 

2025.3.5

https://github.com/apache/paimon/pull/5220

+125 -24

更新hiverunner用法到最新版本，指定tez版本0.10.0

目前：merged 2025.3.6

 

2025.3.10

https://github.com/apache/paimon/pull/5245

+25 -6

支持e2e tests on jdk11

1. Use apache/flink:${test.flink.version}-${test.java.version} instead of apache/flink:${test.flink.version}-java8,

2. Annotate SparkE2eTest and HiveE2eTest as @DisabledOnJre(JAVA_11) because not support their jdk11 container and should not block the other 21 tests.

目前：merged 2025.3.10

 

2025.3.23

https://github.com/apache/paimon/pull/5330

+54 -56

修复行布局增强可读性

目前：merged 2025.3.24

 

2025.3.24

https://github.com/apache/paimon/pull/5336

+27 -1

引入Reloc可视化RestCatalog api，而且内容会随着yaml的变化而自动变化，不用额外维护

目前：merged 2025.3.25 一开始是想着用snakeyaml根据yaml文件生成一个页面，即使不考虑生成逻辑的复杂性，还得引入依赖，而且要更改build过程增加编译的步骤。然后试了下redoc可以，会根据yaml变动而自动内容变化，本地也跑通了，但还要引入这个plugin很复杂，又试了下还能用在页面加上redoc js的方式来自动生成，显然更好

 

2025.3.25

https://github.com/apache/paimon/pull/5340

+1935 -3

引入Reloc后，与content security policy冲突导致虽然本地生效但在网站不生效，需要将js文件引入项目、加上license、关闭search

目前：merged 2025.3.25

 

2025.3.25

https://github.com/apache/paimon/pull/5346

+6 -1

单独给用了redoc框架的文档配置参数`redocPage`，可访问paimon-open-api，加载redoc.standalone.js文件，其他页面不受影响

目前：merged 2025.3.26

 

2025.3.27

https://github.com/apache/paimon/pull/5355

+2303 -7

前面在#5346以为用csp

tag能覆盖apache web页面的csp控制，但实际发现还是不行，因为csp是在apache webserver那块加到http header了。因此还是得把yaml放到docs路径下去访问，在maven-antrun-plugin加了copy yaml文件

目前：merged 2025.3.27

 

2025.4.1

https://github.com/apache/paimon/pull/5383

+18 -5

当fallback read出现异常时，比如fallback分支的schema id比main的小，会报schema id找不到的异常，在main分支读

目前：merged 2025.4.1

 

2025.4.3

+3 -3

https://github.com/apache/paimon/pull/5393

更新flink版本 1.15.3->1.15.4 & 1.19.1->1.19.2 & 1.20.0->1.20.1

目前：merged 2025.4.3

​
posted @ 2023-02-06 20:06  码以致用  阅读(64)  评论(0)    收藏  举报