随笔分类 -  FLINK

DataStreamUtils 连续keyBy 优化
摘要:经常会有这样的业务需求,需要对一个 stream 连续分区,比如: source .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) . 阅读全文
posted @ 2020-07-01 21:30 Flink菜鸟 阅读(1396) 评论(0) 推荐(0) 编辑
【sqlSubmit】1.0 正式发布
摘要:在这里,我很荣幸的宣布,开源项目 flink sqlSubmit 1.0 发布了。👏👏👏 乘着这几天假,在家把很早就该完成的事情做了点,第一个就是把sqlSubmit 稍微修改了下,勉强发布1.0版本。 地址:https://github.com/springMoon/sqlSubmit/re 阅读全文
posted @ 2020-06-26 16:33 Flink菜鸟 阅读(708) 评论(0) 推荐(1) 编辑
Flink: 一次失败的批处理经历
摘要:更新说明 突然就想水一篇博客,刚好说明一下这段时间基本没有更新的问题。 简单介绍下我的职业生涯,大家有留意的话,可以在博客园上看到,我的博客是从2015年11月开始的,公众号则是去年才有的。 我15年毕业,就职某外企Java开发,17年进入某曾经很知名的公司做大数据离线(抬高一点,还负责离线报表的前 阅读全文
posted @ 2020-06-25 07:25 Flink菜鸟 阅读(2271) 评论(1) 推荐(0) 编辑
【开源】基于 Flink 1.10.1 的 SQL 提交程序
摘要:从 Flink 1.9 SQL 功能可以稳定生产开始,就开始做 Flink SQL 相关的内容,到现在也有一段时间了,对 flink sql 还是有很多想法的,也有很多源码相关的内容一直想研究。 不过这段时间,工作上有些变动,所以很多时候都不想动弹(可能就是因为懒),所以这段时间更新频率越来越低了, 阅读全文
posted @ 2020-06-09 14:43 Flink菜鸟 阅读(2299) 评论(0) 推荐(0) 编辑
Flink 1.10 UDF 的一个小问题
摘要:flink sql udf 只在启动的时候执行一次,调用的时候直接返回初始化的值,之后不再更新 一个返回当前时间的函数返回的结果是启动的时间,并且保持不变 阅读全文
posted @ 2020-05-25 13:27 Flink菜鸟 阅读(1050) 评论(0) 推荐(0) 编辑
Flink 1.10 SQL 写 Hbase 数据无法写入hbase问题
摘要:接之前的:Flink 1.10 SQL 写HBase 有朋友看了之前的 sql 写 Hbase 的博客,自己试了写,可能没有得到预期的结果 之前在捣腾的时候,也花了不少时间,这里大概写下遇到的两个问题 1、hbase 表参数问题 'connector.zookeeper.quorum' = 'ven 阅读全文
posted @ 2020-04-28 11:16 Flink菜鸟 阅读(4047) 评论(1) 推荐(0) 编辑
Flink SQL 双流 join demo
摘要:官网持续查询中的join : https://site.douban.com/108880/widget/notes/4611554/note/249729366/ Flink 官网上介绍的双流join,有两种:Regular Joins 和 Time-windowed Joins 以下内容翻译自官 阅读全文
posted @ 2020-04-27 14:30 Flink菜鸟 阅读(8440) 评论(1) 推荐(0) 编辑
Flink SQL 解析复杂(嵌套)JSON
摘要:嵌套JSON 阅读全文
posted @ 2020-04-12 15:40 Flink菜鸟 阅读(28826) 评论(3) 推荐(3) 编辑
Flink 1.10 SQL 自定义KafkaUpsertSink
摘要:在 Flink 1.10 中SQL正式生产,在尝试使用的时候,遇到了这样的问题: KafkaTableSink 的 'update-mode' 只支持 ‘append’,如下面这样: CREATE TABLE user_log_sink ( user_id VARCHAR, item_id VARC 阅读全文
posted @ 2020-04-08 13:30 Flink菜鸟 阅读(4606) 评论(0) 推荐(0) 编辑
【翻译】Flink Table API & SQL 自定义 Source & Sink
摘要:本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html TableSource 提供访问存储在外部系统(数据库、key-value 存款,消息队列)或文件中的数据的 阅读全文
posted @ 2020-04-01 20:05 Flink菜鸟 阅读(2474) 评论(0) 推荐(0) 编辑
Flink on yarn HA 配置
摘要:先看下官网对Flink 各个组件的描述:https://ci.apache.org/projects/flink/flink-docs-release-1.10/concepts/runtime.html#job-managers-task-managers-clients 启动流程。 Flink 阅读全文
posted @ 2020-03-23 18:32 Flink菜鸟 阅读(1751) 评论(0) 推荐(1) 编辑
Flink kafka connector 端到端精确一次测试
摘要:官网博客中: Apache Flink中的端到端精确一次处理概述 对Flink 端到端精确一次处理和两段提交的原理,有详尽的描述 这里要写的是,关于 Flink kafka 端到端精确一次的测试 之前就大概测试过相应内容,应该是测试失败了的,只得到了至少一次的结果(之前的关注点不在这个上面,下面会说 阅读全文
posted @ 2020-03-23 18:28 Flink菜鸟 阅读(2713) 评论(0) 推荐(0) 编辑
Flink 1.10 SQL 写HBase
摘要:Hbase 也是我们很常用的数据存储组件,所以提前尝试下用SQL 写Hbase,中间也遇到一些坑,跟大家分享一下。 官网地址:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#hba 阅读全文
posted @ 2020-03-23 08:45 Flink菜鸟 阅读(7791) 评论(6) 推荐(1) 编辑
Flink 1.10 SQL 写ElasticSearch
摘要:官网对应页面:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector 仅 阅读全文
posted @ 2020-03-22 17:42 Flink菜鸟 阅读(5104) 评论(0) 推荐(0) 编辑
Flink 1.10 SQL 读写Kafka
摘要:最近因为疫情的原因,偷了好长时间的懒,现在终于开始继续看Flink 的SQL 了 ———————————————— 电脑上的Flink 项目早就升级到了 1.10了,最近还在看官网新的文档,趁着周末,体验一下新版本的SQL API(踩一下坑)。 直接从之前的 云邪大佬的Flink 的 SQL 样例开 阅读全文
posted @ 2020-03-15 18:00 Flink菜鸟 阅读(16173) 评论(3) 推荐(0) 编辑
【翻译】Apache Flink 1.10.0 Release Announcement
摘要:本文翻译自官网:https://flink.apache.org/news/2020/02/11/release-1.10.0.html 11 Feb 2020 Marta Paes (@morsapaes) Apache Flink 社区很激动的表示 Flink 的版本达到2位数,并宣布发布 Fl 阅读全文
posted @ 2020-02-24 17:15 Flink菜鸟 阅读(799) 评论(0) 推荐(0) 编辑
关于Flink slot 和kafka topic 分区关系的说明
摘要:今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic,默认为 kafka 的 topic )的关系,大概回答了一下,这里整理一份 首先必须明确的是,Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的,而这个问题其实是问的是: 阅读全文
posted @ 2019-12-11 20:37 Flink菜鸟 阅读(6375) 评论(1) 推荐(0) 编辑
【翻译】FlinkCEP-Flink的复杂事件处理
摘要:本文翻译自官网:FlinkCEP - Complex event processing for Flink FlinkCEP是在Flink之上实现的复杂事件处理(CEP)库。 它使您可以检测无穷无尽的事件流中的事件模式,从而有机会掌握数据中的重要信息。 本页描述Flink CEP中可用的API调用。 阅读全文
posted @ 2019-12-06 11:23 Flink菜鸟 阅读(1203) 评论(0) 推荐(0) 编辑
【翻译】Flink Table Api & SQL — 流概念
摘要:本文翻译自官网:Streaming Concepts https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/ Flink Table Api & SQL 翻译目录 Flink的Table API 阅读全文
posted @ 2019-12-05 13:22 Flink菜鸟 阅读(305) 评论(0) 推荐(0) 编辑
Flink Table Api & SQL 翻译目录
摘要:Flink 官网 Table Api & SQL 相关文档的翻译终于完成,这里整理一个安装官网目录顺序一样的目录 【翻译】Flink Table Api & SQL —— Overview 【翻译】Flink Table Api & SQL —— 概念与通用API 【翻译】Flink Table A 阅读全文
posted @ 2019-12-05 13:12 Flink菜鸟 阅读(699) 评论(0) 推荐(0) 编辑