摘要:
本文参考官网 Table & SQL Connectors JDBC SQL Connector https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html#lookup-ca 阅读全文
摘要:
参考官网: https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/kafka.htmlhttps://ci.apache.org/projects/flink/flink-docs-r 阅读全文
摘要:
参考文档: 编译Flink 1.9.0 https://www.cnblogs.com/Springmoon-venn/p/11512136.html 编译环境: ubuntu 18.05Java : 1.8.0_271 官网下载源码包:https://mirrors.tuna.tsinghua.e 阅读全文
摘要:
参考前文:解决 Flink 1.11.0 sql 不能指定 jobName 的问题 从 FLink 1.11 改版 sql 的执行流程后,就不能和 Stream Api 一样使用 env.execute("JobName") 来指定任务名 看了源码后发现,在 sql 任务中,直接使用了 "inser 阅读全文
摘要:
本文来自官网: https://flink.apache.org/news/2020/12/10/release-1.12.0.html 2020年12月10日Marta Paes(@morsapaes)和Aljoscha Krettek(@aljoscha) Apache Flink社区很高兴地宣 阅读全文
摘要:
注: 所有内容都基于Flink 本地模式 JobGraph 的生成是从 LocalExecutor.java. execute 方法开始的 // 本地执行调用 Pipeline 是 StreamGraph 的父类 @Override public CompletableFuture<JobClien 阅读全文
摘要:
Flink 任务的图结构中,部分算子是 chain 在一起的,因为 chain 在一起有很多好处(减少序列化和网络开销,提高效率),而算子 chain 在一起是需要条件的 Flink 任务在生成 JobGraph 的时候,会加入 chain 的概念,会判断算子能否 chain 在一起 首先在 env 阅读全文
摘要:
Flink StreamGraph 的核心是 streamNodes 包含所以 算子生成的 StreamNode(也叫 Vertex), StreamNode 中包含连接算子的边(Edge),其他的虚拟节点 使用 virtualSelectNodes、virtualSideOutputNodes、v 阅读全文
摘要:
又看下了 Join 算子 Transformation 的过程,发现有使用 union 和 coGroup,比较特殊,就仔细梳理一下 join demo 代码: 两个 Stream join 只能在窗口中进行 join,join 在处理无界数据集的时候,必须指定窗口,让无界数据变成有界数据,Flin 阅读全文
摘要:
最近一直在看 StreamGraph 生成的源码,刚好有点思路,准备动手了发现,如果不说下 Transformation 后面的 StreamGraph 会差比较多意思,所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类,实现类有下面 阅读全文