上一页 1 2 3 4 5 6 ··· 29 下一页
  2022年9月21日
摘要: 注:本文主要内容来自于官网 MySQL 实时同步至StarRocks 功能简介 StarRocks 提供 Flink CDC connector、flink-connector-starrocks 和 StarRocks-migrate-tools(简称smt),实现 MySQL 数据实时同步至 S 阅读全文
posted @ 2022-09-21 18:48 Flink菜鸟 阅读(2037) 评论(0) 推荐(0) 编辑
  2022年9月5日
摘要: 最近发布了 2.3.1,准备升级一下现在测试环境的 2.3.0,整理个文档,加深一下印象 升级版本目标: 2.3.0 --> 2.3.1 现有集群 当前集群,三台服务器,每台机都有 fe/be/broker 版本:2.3.0 | ip | fe | be | broker | | | | | | | 阅读全文
posted @ 2022-09-05 09:28 Flink菜鸟 阅读(521) 评论(0) 推荐(0) 编辑
  2022年8月25日
摘要: 注:本文主要内容均来源 StarRocks 官网 https://docs.starrocks.com/zh-cn/main/administration/stargo StarGo 是一个用于管理多个 StarRocks 集群的命令行工具。通过 StarGo,您可以使用简单的命令行实现多集群的部署 阅读全文
posted @ 2022-08-25 15:00 Flink菜鸟 阅读(1971) 评论(1) 推荐(0) 编辑
  2022年8月10日
摘要: 最近遇到个场景,需要对大表进行 Table Scan,使用官方的 jdbc connect, 发现在执行的时候,如果表的数据量很大(百万级别),在 select 阶段会消耗大量的时间,如下: 任务执行了 9 分钟多,数据才上来,数据上来后,差不多一批就全部上来了 差不多 10 分钟读完,还不能通过增 阅读全文
posted @ 2022-08-10 16:47 Flink菜鸟 阅读(1452) 评论(0) 推荐(2) 编辑
  2022年7月28日
摘要: 流表关联时数仓 DW 层把表打宽最主要的方式,项目中使用最多的维表存储是 hbase/mysql/redis,分别在大表、小表、高性能查询三种流表关联查询场景 最近调研和使用了一段时间的 starrocks,发现使用 starrocks 做维表的存储好像也很不错,所以做这样一次测试,测试 hbase 阅读全文
posted @ 2022-07-28 09:32 Flink菜鸟 阅读(1287) 评论(1) 推荐(1) 编辑
  2022年7月21日
摘要: 接上篇: Flink sql Group Windows 窗口源码解析 上篇写了 Group Windows 的源码解析,Group Windows 的源码是相对好阅读的,核心处理逻辑和 Stream api 一样: Window + trigger + agg function 而 Window 阅读全文
posted @ 2022-07-21 17:41 Flink菜鸟 阅读(830) 评论(0) 推荐(0) 编辑
摘要: 上篇:Flink sql Group Windows 窗口源码解析 下篇:Flink sql Windowing TVF 源码解析 之前在 sqlSubmit 项目里面添加了解析 sql 文件中的参数的功能 就随手在一个 window tvf 的 sql 里面添加了设置并行度为 2 的语句 set 阅读全文
posted @ 2022-07-21 17:41 Flink菜鸟 阅读(1333) 评论(0) 推荐(0) 编辑
  2022年6月14日
摘要: 窗口(Window)是 Flink 众多优势之一。 窗口可以将数据流装入大小有限的“桶”中,再对每个“桶”加以处理 随着实时数仓和 flink sql 越来越成熟,flink sql 又变成 flink 中最常用的 api 在这种场景下,我们来看看 flink sql 窗口的源码。 (练习一下表达能 阅读全文
posted @ 2022-06-14 18:11 Flink菜鸟 阅读(756) 评论(0) 推荐(0) 编辑
摘要: Flink table 窗口聚合提前触发参数 Flink 版本: 1.15.0 先上参数: # 启动提前触发 # Specifies whether to enable late-fire emit。 Late-fire is an emit strategy after watermark adv 阅读全文
posted @ 2022-06-14 14:06 Flink菜鸟 阅读(1919) 评论(1) 推荐(2) 编辑
  2022年6月1日
摘要: Flink 版本: 1.15.0 问题 在社区看到以下问题: 请教个问题哈,sink 到 kafka,采用默认的分区器,是不是每个并行度都会与kafka的partition维护一个连接 比如 10 个并行度,3个 partition,那么维护的连接数总共为 10*3 个 ? 是的 还是一个taskM 阅读全文
posted @ 2022-06-01 14:21 Flink菜鸟 阅读(4082) 评论(1) 推荐(1) 编辑
上一页 1 2 3 4 5 6 ··· 29 下一页