上一页 1 2 3 4 5 6 7 8 9 10 ··· 29 下一页
  2021年2月20日
摘要: 本文参考官网 Table & SQL Connectors JDBC SQL Connector https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html#lookup-ca 阅读全文
posted @ 2021-02-20 09:41 Flink菜鸟 阅读(4332) 评论(0) 推荐(0) 编辑
  2021年1月14日
摘要: 参考官网: https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/kafka.htmlhttps://ci.apache.org/projects/flink/flink-docs-r 阅读全文
posted @ 2021-01-14 17:41 Flink菜鸟 阅读(5092) 评论(0) 推荐(0) 编辑
  2020年12月22日
摘要: 参考文档: 编译Flink 1.9.0 https://www.cnblogs.com/Springmoon-venn/p/11512136.html 编译环境: ubuntu 18.05Java : 1.8.0_271 官网下载源码包:https://mirrors.tuna.tsinghua.e 阅读全文
posted @ 2020-12-22 19:50 Flink菜鸟 阅读(1187) 评论(0) 推荐(0) 编辑
  2020年12月19日
摘要: 参考前文:解决 Flink 1.11.0 sql 不能指定 jobName 的问题 从 FLink 1.11 改版 sql 的执行流程后,就不能和 Stream Api 一样使用 env.execute("JobName") 来指定任务名 看了源码后发现,在 sql 任务中,直接使用了 "inser 阅读全文
posted @ 2020-12-19 11:53 Flink菜鸟 阅读(6122) 评论(1) 推荐(0) 编辑
  2020年12月17日
摘要: 本文来自官网: https://flink.apache.org/news/2020/12/10/release-1.12.0.html 2020年12月10日Marta Paes(@morsapaes)和Aljoscha Krettek(@aljoscha) Apache Flink社区很高兴地宣 阅读全文
posted @ 2020-12-17 10:25 Flink菜鸟 阅读(1025) 评论(0) 推荐(0) 编辑
  2020年12月9日
摘要: 注: 所有内容都基于Flink 本地模式 JobGraph 的生成是从 LocalExecutor.java. execute 方法开始的 // 本地执行调用 Pipeline 是 StreamGraph 的父类 @Override public CompletableFuture<JobClien 阅读全文
posted @ 2020-12-09 20:44 Flink菜鸟 阅读(1058) 评论(0) 推荐(0) 编辑
摘要: Flink 任务的图结构中,部分算子是 chain 在一起的,因为 chain 在一起有很多好处(减少序列化和网络开销,提高效率),而算子 chain 在一起是需要条件的 Flink 任务在生成 JobGraph 的时候,会加入 chain 的概念,会判断算子能否 chain 在一起 首先在 env 阅读全文
posted @ 2020-12-09 18:59 Flink菜鸟 阅读(1034) 评论(0) 推荐(0) 编辑
  2020年11月6日
摘要: Flink StreamGraph 的核心是 streamNodes 包含所以 算子生成的 StreamNode(也叫 Vertex), StreamNode 中包含连接算子的边(Edge),其他的虚拟节点 使用 virtualSelectNodes、virtualSideOutputNodes、v 阅读全文
posted @ 2020-11-06 15:43 Flink菜鸟 阅读(586) 评论(0) 推荐(0) 编辑
  2020年11月5日
摘要: 又看下了 Join 算子 Transformation 的过程,发现有使用 union 和 coGroup,比较特殊,就仔细梳理一下 join demo 代码: 两个 Stream join 只能在窗口中进行 join,join 在处理无界数据集的时候,必须指定窗口,让无界数据变成有界数据,Flin 阅读全文
posted @ 2020-11-05 15:15 Flink菜鸟 阅读(452) 评论(0) 推荐(0) 编辑
  2020年11月4日
摘要: 最近一直在看 StreamGraph 生成的源码,刚好有点思路,准备动手了发现,如果不说下 Transformation 后面的 StreamGraph 会差比较多意思,所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类,实现类有下面 阅读全文
posted @ 2020-11-04 20:25 Flink菜鸟 阅读(547) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 29 下一页