岚天逸见

Flink MySQL CDC 增量同步要求源表有主键

摘要：版本：2.2 如果源表没有主键，则运行时报错： 2023-03-13 21:28:25,244 INFO [679] [com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter.generateSplits(ChunkSpli 阅读全文

posted @ 2023-03-14 09:39 岚天逸见阅读(905) 评论(0) 推荐(0)

Windows上Spotless的回车换行符问题

摘要：在 Windows 上执行命令“mvn clean package -DskipTests”编译时报如下错误，原因是 Windows 默认为“\r\n”。解决办法是在仓库的根目录下创建名为“.gitattributes”的文件，添加一行内容： * text eol=lf 也可只针对指定文件类型： * 阅读全文

posted @ 2023-03-07 09:45 岚天逸见阅读(347) 评论(0) 推荐(0)

flink-connector-mysql-cdc遇到db名包含点号

摘要：版本：2.2 结论：是个截至最新的 2.3 均一直未修复的 BUG CDC 过程 SHOW DATABASES -- 找到所有的库 -> SHOW FULL TABLES IN `$DBNAME` where Table_Type = 'BASE TABLE' -- 找到库中的所有的表 -> 过滤出阅读全文

posted @ 2023-03-06 17:03 岚天逸见阅读(647) 评论(0) 推荐(0)

librdkafka线程CPU百分百问题分析

摘要：现象只有一个 rdk:broker-1 线程的 cpu 满，其它的都正常，另一个 rdk:broker-1 线程的 PID 为 18 。观察正常情况下两个 rdk:broker-1 线程的 PID 分别为 16 和 17，问题发生时为 17 和 18，不知道是不是发生了退出重新创建两个 rdk:b 阅读全文

posted @ 2023-02-27 15:27 岚天逸见阅读(215) 评论(0) 推荐(0)

mvn安装jar包到本地仓库

摘要：安装 jar 包到本地仓库命令： mvn install:install-file -DgroupId=groupId -DartifactId=artifactId -Dversion=version -Dpackaging=jar -Dfile=需安装到本地仓库的jar文件路径（需包含完整的文件阅读全文

posted @ 2023-02-26 10:32 岚天逸见阅读(169) 评论(0) 推荐(0)

awk多字符串分割用法示例

摘要：多字符串分割用单引号，不要用“[]”，但多个直接仍然用竖号分隔，需要转义的也仍然用斜杠“\”，但注意需要两个斜杠“\”，因为斜杠本身也需要转义。示例：两个多字符串分割符，分别为“[CDATA[[”和“]]”。 # echo '<xml><appid><![CDATA[20230214114000] 阅读全文

posted @ 2023-02-14 12:44 岚天逸见阅读(151) 评论(0) 推荐(0)

Flink 运行错误 java.lang.OutOfMemoryError: Direct buffer memory

摘要：如遇到如下错误，表示需要调大配置项 taskmanager.memory.framework.off-heap.size 的值，taskmanager.memory.framework.off-heap.size 的默认值为 128MB，错误显示不够用需要调大。 2022-12-16 09:09:2 阅读全文

posted @ 2022-12-16 09:33 岚天逸见阅读(980) 评论(0) 推荐(0)

解决 Eclipse 不见 Maven 问题

摘要：解决 Eclipse 不见 Maven 问题阅读全文

posted @ 2022-12-13 12:04 岚天逸见阅读(360) 评论(0) 推荐(0)

快速体验 Flink Table Store进阶篇

摘要：在本地安装单机版本，能够实现快速体验 Flink Table Store 的目的，本文以 Flink 1.15.2、flink-table-store-dist-0.2.1、flink-shaded-hadoop-2-uber-2.8.3-10.0 和 Kafka 3.3.1 为例，系统为 Cent 阅读全文

posted @ 2022-11-14 19:52 岚天逸见阅读(394) 评论(0) 推荐(0)

快速体验 Flink Table Store入门篇

摘要：在本地安装单机版本，能够实现快速体验 Flink Table Store 的目的，本文以 Flink 1.15.2、flink-table-store-dist-0.2.1 和 flink-shaded-hadoop-2-uber-2.8.3-10.0 为例，系统为 Centos 3.10。下载阅读全文

posted @ 2022-11-13 17:41 岚天逸见阅读(755) 评论(0) 推荐(0)