摘要： lookup join mysql demo： flink lookup join mysql demo ## join rowkey -- Lookup Source -- kafka source CREATE TABLE user_log ( user_id STRING ,item_id S 阅读全文

摘要： # Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink + Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi 对 Sp 阅读全文

摘要： Flink 1.12 的时候尝试使用 JDBC SQL Connector kafka 流关联 mysql 表，使用 lookup cache 缓存 mysql 数据，测试在关联性能和更新时效的平衡。不过遭遇了失败，尝试各种 join 也无法实现，mysql source 使用 InputForma 阅读全文

摘要： 2021-06-07 修改 白干了，flink 1.13 json format 可以直接解析复杂的sql，以如下格式 CREATE TABLE user_log ( user_id STRING ,item_id STRING ,category_id STRING ,sub_json ROW(s 阅读全文

摘要： 最近在研究 flink-cdc ，因为想到table api 的 cdc 都是针对单表，如果在同一个数据库上，有很多表需要实时采集（比如： 100 张表），会不会对 mysql 造成压力，如果 mysql 数据量又比较大，是不是会对 mysql 所在服务器造成磁盘和网络的压力。 对 binlog 有 阅读全文

摘要： Kudu 是现在比较火的一款存储引擎，集HDFS的顺序读和HBase的随机读于一身，非常适合物流网场景，刚刚到达的数据就马上要被终端用户使用访问到,未来还要做大规模的数据分析。 kudu 适合的场景（以下内容来自网络）： 1. 适用于那些既有随机访问,也有批量数据扫描的复合场景 2. CPU密集型的 阅读全文

摘要： 本文基于 flink 1.12.0 top n 官网： https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#top-n ## sql flink top n sql 如下，to 阅读全文

摘要： 本文基于 Flink 1.11.3 最近 flink 版本从 1.8 升级到 1.11，在输出数据到 hdfs 的时候，发现输出文件都是这样命名的： .part-0-0.inprogress.aa4a310c-7b48-4dee-b153-2a4f21ef10b3 .part-0-0.inprogr 阅读全文

摘要： 本文基于 flink 1.12.0 之前尝试了一下 flink sql 的 去重和Top n 功能，只是简单的看了下官网，然后用 sql 实现了功能，但是还有些疑问没有解决。比如：不使用 mini-batch 模式，去重的结果很单一，降序就只输出第一条数据（升序就一直输出最后一条） 为了解决这些疑问 阅读全文

摘要： 在大数据的处理过程中会出现很多汇总类指标的计算，比如计算当日的每个类目下的用户的订单信息，就需要按类目分组，对用户做去重。Flink sql 提供了 “去重” 功能，可以在流模式的任务中做去重操作。 官网文档 去重 官网链接： [去重](https://ci.apache.org/projects/ 阅读全文