摘要: 一、背景 ck因为有合并文件操作,适合批量写入。如单条插入则速度太慢 二、Flink写入ck优化 改为分批插入,代码如下 DataStream<Row> stream = ... stream.addSink(JdbcSink.sink( "INSERT INTO mytable (col1, co 阅读全文
posted @ 2023-06-02 15:01 黑水滴 阅读(698) 评论(0) 推荐(0) 编辑
摘要: 我们一般碰到的压力来自以下几个方面: 一,产生数据流的速度如果过快,而下游的算子消费不过来的话,会产生背压问题。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控,一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好,做一下优化就可以了 阅读全文
posted @ 2023-06-02 10:07 黑水滴 阅读(387) 评论(0) 推荐(0) 编辑