摘要:
一、处理函数简介 在底层,我们可以不定义任何具体的算子(比如 map,filter,或者 window),而只是提炼出一个统一的“处理”(process)操作——它是所有转换算子的一个概括性的表达,可以自定义处理逻辑,所以这一层接口就被叫作“处理函数”(process function)。在处理函数 阅读全文
摘要:
一、背景 ck因为有合并文件操作,适合批量写入。如单条插入则速度太慢 二、Flink写入ck优化 改为分批插入,代码如下 DataStream<Row> stream = ... stream.addSink(JdbcSink.sink( "INSERT INTO mytable (col1, co 阅读全文
摘要:
我们一般碰到的压力来自以下几个方面: 一,产生数据流的速度如果过快,而下游的算子消费不过来的话,会产生背压问题。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控,一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好,做一下优化就可以了 阅读全文
摘要:
一、背景 对于clickhouse有过使用经验的开发者应该知道,ck的写入,最优应该是批量的写入。但是对于流式场景来说,每批写入的数据量都是不可控制的,如kafka,每批拉取的消息数量是不定的,flink对于每条数据流的输出,写入ck的效率会十分缓慢,所以写了一个demo,去批量入库。生产环境使用还 阅读全文
摘要:
import com.google.common.cache.CacheBuilder; import com.google.common.cache.CacheLoader; import com.google.common.cache.LoadingCache; import java.text 阅读全文
摘要:
一、摘要 如果想使用Flink,Flink的Watermark是很难绕过去的概念。本文帮大家梳理Watermark概念 二、Watermark疑问 1、Flink应用的常见需求是什么 如公司运营一个官网,想统计下过去一分钟有多少用户访问官网。 如果使用Flink开发,来一条数据则计算一条也是可以的。 阅读全文
摘要:
一、整体代码 1、method1:执行select语句获取,select * from dims where 1 = 2 2、method2:执行show create table获取,show create table dims 3、method3:从jdbc数据库连接获取 import lomb 阅读全文
摘要:
一、特殊字符 1、输入框、多行输入框输入$s字符默认替换成空。 如调用后端接口的输入框输入123$BB123,实际请求的参数为123,$后面的参数消息 解决办法:如确实需要输入$的话,在$前面加\即可。 例:期望请求参数123$BB123,则输入123\$BB123 阅读全文
摘要:
一、问题描述 最近在开发后端接口时,发现返回结构中,一个字段大小写转化有问题。 lombok版本:1.18.14 VO对象如下,字段为echarts趋势图组件。预期返回xAxis,实际返回xaxis @Data public class ULineBarVO { /** * X轴信息 */ priv 阅读全文
摘要:
一、BeJson格式化工具 网址:在线JSON校验格式化工具(Be JSON) 优点:工具多 缺点:广告多,界面设计较旧,拼凑的工具网站,界面风格差异较大不统一。 二、Robots2开发工具箱 网址:Robots2开发工具网站 优点:工具界面风格统一,界面整洁,有日常开发用到的工具和网站导航 缺点: 阅读全文