随笔分类 - FLINK
Flink FileSink 自定义输出路径——BucketingSink
摘要：今天看到有小伙伴在问，就想着自己实现一下。 问题： Flink FileSink根据输入数据指定输出位置，比如讲对应日期的数据输出到对应目录 目前flink 对与输出到文件有两种实现（write 算子不算，只能指定目录）：Rolling File Sink 和 Streaming File Sink
阅读全文
【翻译】Flink Joining
摘要：本文来自官网翻译： Joining Window Join（窗口join） Tumbling Window Join（翻滚窗口join） Sliding Window Join（滑动窗口join） Session Window Join（会话窗口join） Interval Join（时间间隔joi
阅读全文
Flink 异步IO访问外部数据（mysql篇）
摘要：接上篇：【翻译】Flink 异步I / O访问外部数据 最近看了大佬的博客，突然想起Async I/O方式是Blink 推给社区的一大重要功能，可以使用异步的方式获取外部数据，想着自己实现以下，项目上用的时候，可以不用现去找了。 最开始想用scala 实现一个读取 hbase数据的demo，参照官网
阅读全文
【翻译】Flink 异步I / O访问外部数据
摘要：本文来自官网翻译： Asynchronous I/O for External Data Access 需要异步I / O操作 先决条件 异步I / O API 超时处理 结果顺序 活动时间 容错保证 实施技巧 警告 超时处理 结果顺序 活动时间 容错保证 实施技巧 警告 本页介绍了Flink AP
阅读全文
Flink 自定义source和sink，获取kafka的key，输出指定key
摘要：20190905更新 沙雕了，可以用 JSONKeyValueDeserializationSchema，接收ObjectNode的数据，如果有key，会放在ObjectNode中 Flink 的 FlinkKafkaConsumer、FlinkKafkaProducer，在消费、生成kafka 数
阅读全文
Flink统计当日的UV、PV
摘要：flink 计算当日 UV、PV，翻动窗口、trigger触发器
阅读全文
flink引出的kafka不同版本的兼容性
摘要：参考： 官网协议介绍：http://kafka.apache.org/protocol.html#The_Messages_Fetch kafka协议兼容性 http://www.cnblogs.com/huxi2b/p/6784795.html 最近在使用flink的时候，在flink的官网对fl
阅读全文
flink 读取kafka 数据，partition分配
摘要：每个并发有个编号，只会读取kafka partition % 总并发数 == 编号 的分区 如： 6 分区， 4个并发 分区： p0 p1 p2 p3 p4 p5 并发： 0 1 2 3 分区 p0 分配给并发 0 ： 0 % 4 = 0 分区 p1分配给并发1： 1 % 4 = 1 分区 p2分配
阅读全文
Flink 报错 "Could not find a suitable table factory for 'org.apache.flink.table.factories.StreamTableSourceFactory' in the classpath"
摘要：先上代码： 直接上报错信息： 报错信息是找不到合适的table factory，查询报错类TableFactoryService.scala 源码214行（报错信息中报错位置） 主要是对比 requestedContext 中的必需属性，在 properties 中是否有 requestedCont
阅读全文
Apache Flink 简单安装
摘要：flink安装, wordcount demo
阅读全文