FLINK - 随笔分类(第4页) - Flink菜鸟

DataStreamUtils 连续keyBy 优化

摘要：经常会有这样的业务需求，需要对一个 stream 连续分区，比如： source .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) . 阅读全文

posted @ 2020-07-01 21:30 Flink菜鸟阅读(1393) 评论(0) 推荐(0) 编辑

【sqlSubmit】1.0 正式发布

摘要：在这里，我很荣幸的宣布，开源项目 flink sqlSubmit 1.0 发布了。👏👏👏 乘着这几天假，在家把很早就该完成的事情做了点，第一个就是把sqlSubmit 稍微修改了下，勉强发布1.0版本。地址：https://github.com/springMoon/sqlSubmit/re 阅读全文

posted @ 2020-06-26 16:33 Flink菜鸟阅读(708) 评论(0) 推荐(1) 编辑

Flink：一次失败的批处理经历

摘要：更新说明突然就想水一篇博客，刚好说明一下这段时间基本没有更新的问题。简单介绍下我的职业生涯，大家有留意的话，可以在博客园上看到，我的博客是从2015年11月开始的，公众号则是去年才有的。我15年毕业，就职某外企Java开发，17年进入某曾经很知名的公司做大数据离线（抬高一点，还负责离线报表的前阅读全文

posted @ 2020-06-25 07:25 Flink菜鸟阅读(2264) 评论(1) 推荐(0) 编辑

【开源】基于 Flink 1.10.1 的 SQL 提交程序

摘要：从 Flink 1.9 SQL 功能可以稳定生产开始，就开始做 Flink SQL 相关的内容，到现在也有一段时间了，对 flink sql 还是有很多想法的，也有很多源码相关的内容一直想研究。不过这段时间，工作上有些变动，所以很多时候都不想动弹（可能就是因为懒），所以这段时间更新频率越来越低了，阅读全文

posted @ 2020-06-09 14:43 Flink菜鸟阅读(2299) 评论(0) 推荐(0) 编辑

Flink 1.10 UDF 的一个小问题

摘要：flink sql udf 只在启动的时候执行一次，调用的时候直接返回初始化的值，之后不再更新一个返回当前时间的函数返回的结果是启动的时间，并且保持不变阅读全文

posted @ 2020-05-25 13:27 Flink菜鸟阅读(1049) 评论(0) 推荐(0) 编辑

Flink 1.10 SQL 写 Hbase 数据无法写入hbase问题

摘要：接之前的：Flink 1.10 SQL 写HBase 有朋友看了之前的 sql 写 Hbase 的博客，自己试了写，可能没有得到预期的结果之前在捣腾的时候，也花了不少时间，这里大概写下遇到的两个问题 1、hbase 表参数问题 'connector.zookeeper.quorum' = 'ven 阅读全文

posted @ 2020-04-28 11:16 Flink菜鸟阅读(4036) 评论(1) 推荐(0) 编辑

Flink SQL 双流 join demo

摘要：官网持续查询中的join ： https://site.douban.com/108880/widget/notes/4611554/note/249729366/ Flink 官网上介绍的双流join，有两种：Regular Joins 和 Time-windowed Joins 以下内容翻译自官阅读全文

posted @ 2020-04-27 14:30 Flink菜鸟阅读(8431) 评论(1) 推荐(0) 编辑

Flink SQL 解析复杂（嵌套）JSON

摘要：嵌套JSON 阅读全文

posted @ 2020-04-12 15:40 Flink菜鸟阅读(28657) 评论(3) 推荐(3) 编辑

Flink 1.10 SQL 自定义KafkaUpsertSink

摘要：在 Flink 1.10 中SQL正式生产，在尝试使用的时候，遇到了这样的问题： KafkaTableSink 的 'update-mode' 只支持 ‘append’，如下面这样： CREATE TABLE user_log_sink ( user_id VARCHAR, item_id VARC 阅读全文

posted @ 2020-04-08 13:30 Flink菜鸟阅读(4603) 评论(0) 推荐(0) 编辑

【翻译】Flink Table API & SQL 自定义 Source & Sink

摘要：本文翻译自官网：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html TableSource 提供访问存储在外部系统（数据库、key-value 存款，消息队列）或文件中的数据的阅读全文

posted @ 2020-04-01 20:05 Flink菜鸟阅读(2468) 评论(0) 推荐(0) 编辑

Flink on yarn HA 配置

摘要：先看下官网对Flink 各个组件的描述：https://ci.apache.org/projects/flink/flink-docs-release-1.10/concepts/runtime.html#job-managers-task-managers-clients 启动流程。 Flink 阅读全文

posted @ 2020-03-23 18:32 Flink菜鸟阅读(1750) 评论(0) 推荐(1) 编辑

Flink kafka connector 端到端精确一次测试

摘要：官网博客中： Apache Flink中的端到端精确一次处理概述对Flink 端到端精确一次处理和两段提交的原理，有详尽的描述这里要写的是，关于 Flink kafka 端到端精确一次的测试之前就大概测试过相应内容，应该是测试失败了的，只得到了至少一次的结果（之前的关注点不在这个上面，下面会说阅读全文

posted @ 2020-03-23 18:28 Flink菜鸟阅读(2710) 评论(0) 推荐(0) 编辑

Flink 1.10 SQL 写HBase

摘要：Hbase 也是我们很常用的数据存储组件，所以提前尝试下用SQL 写Hbase，中间也遇到一些坑，跟大家分享一下。官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#hba 阅读全文

posted @ 2020-03-23 08:45 Flink菜鸟阅读(7781) 评论(6) 推荐(1) 编辑

Flink 1.10 SQL 写ElasticSearch

摘要：官网对应页面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector 仅阅读全文

posted @ 2020-03-22 17:42 Flink菜鸟阅读(5100) 评论(0) 推荐(0) 编辑

Flink 1.10 SQL 读写Kafka

摘要：最近因为疫情的原因，偷了好长时间的懒，现在终于开始继续看Flink 的SQL 了 ———————————————— 电脑上的Flink 项目早就升级到了 1.10了，最近还在看官网新的文档，趁着周末，体验一下新版本的SQL API（踩一下坑）。直接从之前的云邪大佬的Flink 的 SQL 样例开阅读全文

posted @ 2020-03-15 18:00 Flink菜鸟阅读(16163) 评论(3) 推荐(0) 编辑

【翻译】Apache Flink 1.10.0 Release Announcement

摘要：本文翻译自官网：https://flink.apache.org/news/2020/02/11/release-1.10.0.html 11 Feb 2020 Marta Paes (@morsapaes) Apache Flink 社区很激动的表示 Flink 的版本达到2位数，并宣布发布 Fl 阅读全文

posted @ 2020-02-24 17:15 Flink菜鸟阅读(790) 评论(0) 推荐(0) 编辑

关于Flink slot 和kafka topic 分区关系的说明

摘要：今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份首先必须明确的是，Flink Task Manager 的 slot 数和 topic 的分区数是没有直接关系的，而这个问题其实是问的是：阅读全文

posted @ 2019-12-11 20:37 Flink菜鸟阅读(6355) 评论(1) 推荐(0) 编辑

【翻译】FlinkCEP-Flink的复杂事件处理

摘要：本文翻译自官网：FlinkCEP - Complex event processing for Flink FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。它使您可以检测无穷无尽的事件流中的事件模式，从而有机会掌握数据中的重要信息。本页描述Flink CEP中可用的API调用。阅读全文

posted @ 2019-12-06 11:23 Flink菜鸟阅读(1202) 评论(0) 推荐(0) 编辑

【翻译】Flink Table Api & SQL — 流概念

摘要：本文翻译自官网：Streaming Concepts https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/ Flink Table Api & SQL 翻译目录 Flink的Table API 阅读全文

posted @ 2019-12-05 13:22 Flink菜鸟阅读(305) 评论(0) 推荐(0) 编辑

Flink Table Api & SQL 翻译目录

摘要：Flink 官网 Table Api & SQL 相关文档的翻译终于完成，这里整理一个安装官网目录顺序一样的目录【翻译】Flink Table Api & SQL —— Overview 【翻译】Flink Table Api & SQL —— 概念与通用API 【翻译】Flink Table A 阅读全文

posted @ 2019-12-05 13:12 Flink菜鸟阅读(699) 评论(0) 推荐(0) 编辑

随笔分类 - FLINK