摘要： 搬家咯，搬家咯 阅读全文

摘要： Flink 版本：1.17.1 CDC 版本：2.3.0 StarRocks 版本：2.5.8 前言 最近需要实时同步几个 Mysql 表到 StarRocks，薅出之前写的 Demo 代码，简单改造了一下，加了个配置文件，可以通过修改配置文件指定 source、sink 表，这样就不用讲表名什么的 阅读全文

摘要： 这段时间开始调研使用 StarRocks 做准实时数据仓库：flink cdc 实时同步数据到 StarRocks，然后在 StarRocks 中做分层计算，直接把 StarRocks 中的 ADS 层提供给 BI 查询。架构如下： 由于用到的表比较多，不能用 Flink SQL 给每个表都做个 C 阅读全文

摘要： Catalog 类型 以下内容来自官网： Hive Catalog 支持Flink 元数据的持久化存储，以前一直用 Hive Catalog 存，偶尔需要用的时候把 Hive Catalog 开启（需启动 hive metastore 和 hiveserver2，还要启动 Hadoop），大部分时候 阅读全文

摘要： 接上篇 Flink SQL 计算 TPS 回顾问题： Flink SQL 每小时计算最近 1 小时内每 10 秒的最近 1 分钟 TPS 显然，Flink 是不支持这种三重时间窗口的，SQL 不行，Stream 也不行，但是 Flink Stream Api 可以调用跟底层的 process 方法自 阅读全文

摘要： 本文根据 StarRocks 官网 TPC-H 基准测试 操作 准备 硬件 | 项目 | 内容 | |--|--| | 机器 | 3 台华为云服务器 | | CPU | 16 core | | 内存 | 64GB | | 网络 | 1Gbits/s | | 磁盘 | 高效云盘 200GB | 软件 阅读全文

摘要： 最近听到个奇葩需求： Flink SQL 每小时计算最近 1 小时内每 10 秒的最近 1 分钟 TPS 这个需求有点绕，举个栗子： 比如 11 点计算： 10:01:10 计算区间： 09:59:10 to 10:01:10 （不包含） 10:01:20 计算区间： 09:59:20 to 10: 阅读全文

摘要： flink 版本： 1.6.0 hive 版本： 3.1.2 sqlSubmit commit commit 0de42fabc1a639c3256ad7d074af72f8f2453be5 修改了sql 文件中的 set 命令（set table.sql-dialect=hive;）执行位置, 从 阅读全文

摘要： flink udaf demo 之前一个小伙伴留言说想看 TableAggregateFunction 的例子吗？以及自定义函数如何使用sql的方式调用？ Flink SQL 我都是用开发的 sqlSubmit 工具做的提交，很多时候会忽略 flink sql client 方式，所以这里写了个简单 阅读全文

摘要： 有一些数据需要实时的往 StarRocks 写，最开始想得很简单，直接用 insert into values 写入，后来遇到版本号超过 1000 问题。查官网才知道，每个 insert 都会生成一个版本，短时间往后台insert 大量数据是不可行的，才开始用 Stream Load 方式 java 阅读全文