Apache Flink 1.12.1发布

Apache Flink 1.12.1发布

2021年1月19日宋欣彤

Apache Flink社区发布了Apache Flink 1.12系列的第一个错误修正版本。

此版本包含79个修复程序以及Flink 1.12.0的较小改进。下面的列表包括所有修复和改进的详细列表。

我们强烈建议所有用户升级到Flink 1.12.1。

注意： 使用在Flink1.12.0对齐检查点具有两个/多个输入任务或单输入任务工会输入相结合，可导致损坏的状态。

如果在恢复完全完成之前触发了新的检查点，则会发生这种情况。为了使状态损坏，具有两个或更多输入门的任务必须恰好在此任务完成对溢出的飞行数据的恢复的同时接收检查点屏障。在这种情况下，此新的检查点可以成功执行，因为传输中的数据已损坏/丢失，当有人尝试从已损坏的检查点恢复时，这将导致各种反序列化/损坏的数据流错误。

在Flink 1.12.1中使用未对齐的检查点，拒绝的检查点之后的检查点可能会发生损坏。

取消检查点的较晚障碍可能会导致缓冲区未写入后续检查点，因此无法进行恢复。当下一个检查点障碍物在所有之前的障碍物到达之前到达给定的操作员时就会发生这种情况，只有在取消未对齐的检查点后才会发生。

更新的Maven依赖项：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.12.1</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.12.1</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.11</artifactId>
  <version>1.12.1</version>
</dependency>

您可以在更新的“下载”页面上找到二进制文件。

注意：

  • Apache Flink 1.12.1的DockerHub官方映像暂时丢失。作为替代方案，映像当前可在Flink PMC托管存储库中使用。现在，这也是Native Kubernetes部署的默认设置。Flink PMC将继续与DockerHub团队合作以提供官方映像。
  • 由于项目空间限制，PyPI上暂时缺少Apache Flink 1.12.1的源代码和python 3.8 linux wheel软件包。目前，有关增加空间限制的请求正在PyPI审核过程中。在这段时间内，您可以根据需要手动构建软件包。

解决的问题列表：

子任务

Bug

改善

  • [ FLINK-19013 ]-状态恢复的日志开始/结束
  • [ FLINK-19259 ]-将类加载器释放挂钩与Kinesis生产者一起使用，以避免元空间泄漏
  • [ FLINK-19832 ]-改进了SlotSharingExecutionSlotAllocator中立即失败的物理插槽的处理
  • [ FLINK-20055 ]-Flink JobManager日志中公开的Datadog API密钥
  • [ FLINK-20168 ]-将“ Flink Architecture”页面翻译成中文
  • [ FLINK-20209 ]-向Flink UI添加缺少的检查点配置
  • [ FLINK-20298 ]-替换flink文档中的用法
  • [ FLINK-20468 ]-在MiniCluster中启用领导控制以测试JM故障转移
  • [ FLINK-20510 ]-默认情况下启用log4j2监视间隔
  • [ FLINK-20519 ]-使用传递捆绑的依赖项扩展HBase通知
  • [ FLINK-20570 ]-“提示”提示样式与process_function页面中的其他提示样式不同。
  • [ FLINK-20588 ]-将docker- compose作为附录添加到Mesos文档中
  • [ FLINK-20629 ]-[Kinesis] [EFO]从DescribeStream迁移到DescribeStreamSummary
  • [ FLINK-20647 ]-使用yield在ProcessFunction中为Python DataStream生成输出数据
  • [ FLINK-20650 ]-在docker-entrypoint.sh中将“ native-k8s”标记为已弃用
  • [ FLINK-20651 ]-使用Spotless / google-java-format进行代码格式化/执行
  • [ FLINK-20682 ]-添加与hadoop相关的配置选项
  • [ FLINK-20697 ]-纠正jdbc.md/jdbc.zh.md中“ lookup.cache.ttl”的类型
  • [ FLINK-20790 ]-不应将生成的类放在src /目录下
  • [ FLINK-20792 ]-允许快速调用一尘不染
  • [ FLINK-20805 ] -Blink运行时类被一尘不染部分忽略
  • [ FLINK-20822 ]-不要检查蜂巢目录中的功能是否通用
  • [ FLINK-20866 ]-启用HA时，如何在Yarn部署文档中列出作业列表

任务

posted @ 2021-01-26 10:30  宁君  阅读(357)  评论(0)  编辑  收藏  举报