Robots2

摘要： 一、背景 ck因为有合并文件操作，适合批量写入。如单条插入则速度太慢 二、Flink写入ck优化 改为分批插入，代码如下 DataStream<Row> stream = ... stream.addSink(JdbcSink.sink( "INSERT INTO mytable (col1, co 阅读全文

摘要： 我们一般碰到的压力来自以下几个方面： 一，产生数据流的速度如果过快，而下游的算子消费不过来的话，会产生背压问题。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控，一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好，做一下优化就可以了 阅读全文

摘要： 一、背景 对于clickhouse有过使用经验的开发者应该知道，ck的写入，最优应该是批量的写入。但是对于流式场景来说，每批写入的数据量都是不可控制的，如kafka，每批拉取的消息数量是不定的，flink对于每条数据流的输出，写入ck的效率会十分缓慢，所以写了一个demo，去批量入库。生产环境使用还 阅读全文

摘要： import com.google.common.cache.CacheBuilder; import com.google.common.cache.CacheLoader; import com.google.common.cache.LoadingCache; import java.text 阅读全文

摘要： 一、摘要 如果想使用Flink，Flink的Watermark是很难绕过去的概念。本文帮大家梳理Watermark概念 二、Watermark疑问 1、Flink应用的常见需求是什么 如公司运营一个官网，想统计下过去一分钟有多少用户访问官网。 如果使用Flink开发，来一条数据则计算一条也是可以的。 阅读全文

摘要： 一、整体代码 1、method1：执行select语句获取，select * from dims where 1 = 2 2、method2：执行show create table获取，show create table dims 3、method3：从jdbc数据库连接获取 import lomb 阅读全文

摘要： 一、特殊字符 1、输入框、多行输入框输入$s字符默认替换成空。 如调用后端接口的输入框输入123$BB123，实际请求的参数为123，$后面的参数消息 解决办法：如确实需要输入$的话，在$前面加\即可。 例：期望请求参数123$BB123，则输入123\$BB123 阅读全文

摘要： 一、问题描述 最近在开发后端接口时，发现返回结构中，一个字段大小写转化有问题。 lombok版本：1.18.14 VO对象如下，字段为echarts趋势图组件。预期返回xAxis，实际返回xaxis @Data public class ULineBarVO { /** * X轴信息 */ priv 阅读全文

摘要： 一、BeJson格式化工具 网址：在线JSON校验格式化工具（Be JSON） 优点：工具多 缺点：广告多，界面设计较旧，拼凑的工具网站，界面风格差异较大不统一。 二、Robots2开发工具箱 网址：Robots2开发工具网站 优点：工具界面风格统一，界面整洁，有日常开发用到的工具和网站导航 缺点： 阅读全文

摘要： 一、安装PhantomJS 安装文章:https://www.cnblogs.com/robots2/p/17340143.html 二、编写脚本spider.js // spider.js 'use strict'; console.log(' start '); // 单个资源等待时间，避免资源 阅读全文