岚天逸见

Hudi学习笔记2 - Hudi配置之FlinkSQL配置

摘要： Flink Sql Configs |配置项|是否必须|默认值|配置说明| |:-|:-|:-|:-| |path|Y|N/A|Hudi表的 base path，如果不存在会创建，否则应是一个已初始化成功的 hudi 表| |read.end-commit|Y|N/A|| |read.start-c 阅读全文

posted @ 2023-05-08 15:40 岚天逸见阅读(408) 评论(0) 推荐(0)

Hudi学习笔记2 - Hudi配置

摘要： https://hudi.apache.org/docs/configurations Hudi配置分类 Spark Datasource Configs Spark Datasource 的配置。 Flink Sql Configs Flink SQL source/sink connectors 阅读全文

posted @ 2023-05-06 17:03 岚天逸见阅读(181) 评论(2) 推荐(0)

Hudi学习笔记1

摘要：使用注意从 0.10.0 版本开始，primaryKey 为必须的，不再支持没有主键的表。 primaryKey、primaryKey 和 type 均大小写敏感。对于 MOR 类型的表，preCombineField 为必须的。当设置 primaryKey、primaryKey 或 type 阅读全文

posted @ 2023-05-06 12:42 岚天逸见阅读(617) 评论(1) 推荐(0)

upsert部分hudi表字段报错“Expected table’s schema”

摘要：当 insert into 一个 hudi 表时，如果只指定了部分字段，则运行时报错“Expected table’s schema”： java.sql.SQLException: java.util.concurrent.ExecutionException: java.lang.Runtime 阅读全文

posted @ 2023-04-27 21:36 岚天逸见阅读(132) 评论(0) 推荐(0)

Flink MySQL CDC 增量同步要求源表有主键

摘要：版本：2.2 如果源表没有主键，则运行时报错： 2023-03-13 21:28:25,244 INFO [679] [com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter.generateSplits(ChunkSpli 阅读全文

posted @ 2023-03-14 09:39 岚天逸见阅读(906) 评论(0) 推荐(0)

Windows上Spotless的回车换行符问题

摘要：在 Windows 上执行命令“mvn clean package -DskipTests”编译时报如下错误，原因是 Windows 默认为“\r\n”。解决办法是在仓库的根目录下创建名为“.gitattributes”的文件，添加一行内容： * text eol=lf 也可只针对指定文件类型： * 阅读全文

posted @ 2023-03-07 09:45 岚天逸见阅读(347) 评论(0) 推荐(0)

flink-connector-mysql-cdc遇到db名包含点号

摘要：版本：2.2 结论：是个截至最新的 2.3 均一直未修复的 BUG CDC 过程 SHOW DATABASES -- 找到所有的库 -> SHOW FULL TABLES IN `$DBNAME` where Table_Type = 'BASE TABLE' -- 找到库中的所有的表 -> 过滤出阅读全文

posted @ 2023-03-06 17:03 岚天逸见阅读(648) 评论(0) 推荐(0)

librdkafka线程CPU百分百问题分析

摘要：现象只有一个 rdk:broker-1 线程的 cpu 满，其它的都正常，另一个 rdk:broker-1 线程的 PID 为 18 。观察正常情况下两个 rdk:broker-1 线程的 PID 分别为 16 和 17，问题发生时为 17 和 18，不知道是不是发生了退出重新创建两个 rdk:b 阅读全文

posted @ 2023-02-27 15:27 岚天逸见阅读(215) 评论(0) 推荐(0)

mvn安装jar包到本地仓库

摘要：安装 jar 包到本地仓库命令： mvn install:install-file -DgroupId=groupId -DartifactId=artifactId -Dversion=version -Dpackaging=jar -Dfile=需安装到本地仓库的jar文件路径（需包含完整的文件阅读全文

posted @ 2023-02-26 10:32 岚天逸见阅读(170) 评论(0) 推荐(0)

awk多字符串分割用法示例

摘要：多字符串分割用单引号，不要用“[]”，但多个直接仍然用竖号分隔，需要转义的也仍然用斜杠“\”，但注意需要两个斜杠“\”，因为斜杠本身也需要转义。示例：两个多字符串分割符，分别为“[CDATA[[”和“]]”。 # echo '<xml><appid><![CDATA[20230214114000] 阅读全文

posted @ 2023-02-14 12:44 岚天逸见阅读(151) 评论(0) 推荐(0)