摘要：
架构图大致如下： 版本信息大致如下，具体版本信息根据自己的需求进行调整即可： oracle：19c flinkcdc：2.4.0 kafka：3.1.2 flink：1.15.4 mysql：8.0.27 springboot：2.5.6 实现需求： 1.使用flinkcdc采集oracle中的数据 阅读全文
摘要：
报错一： 原因分析：字面原因，找不到 org.apache.flink.table.api.ValidationException类。 解决办法：根据类名可知，应该 org.apache.flink.table.api 包下面的，然后去阿里云maven仓库搜索，添加如下依赖即可 报错二： 原因分析： 阅读全文
摘要：
先粘贴连接成功的截图： 为什么要先贴图，主要是想重点来说一下这里面红框参数如何设置。 我想先说一下我的环境背景：服务器环境：虚拟机，linux：centOS7.5，oracle 19c(具体版本：19.3.0.0)，连接服务器客户端工具：mobaxterm 接下来我一个一个说上面的参数应该如何设置： 阅读全文
摘要：
notepad如何删除某个字符开头的行 ^#.*$ 注意：#替换成你想要删除行中的字符就可 notepad如何删除空白行 转发：https://blog.csdn.net/qq_34412985/article/details/107428206 原作者：qq_34412985（多谢作者提供好文） 阅读全文
摘要：
零、kafka消费者组状态 Stable：消费者组中所有消费者都已经加入并且正在消费消息。 Rebalancing：消费者组正在重新平衡，即有消费者加入或退出消费者组时发生的状态。在重新平衡期间，Kafka会暂停所有消费者的消费，并重新分配分区。 Empty：消费者组中没有消费者或者所有消费者都已经 阅读全文
摘要：
1.动态资源分配 Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。 动态增加executor配置项：spark.d 阅读全文
摘要：
0、前提知识储备 Conflurent公司的SchemaRegestry组件的基本了解和使用 一、背景： 0.组件版本 flink：1.14 1.链路调整情况 原先链路：oracle-->OGG-->kafka-->flink-->数据库\湖\仓 实现链路：oracle-->OGG-->kafka（ 阅读全文
摘要：
背景：每次使用idea打开新的工程，都需要重新设置一遍maven的配置，次次都这样烦死了，就没有一个简便的方法吗？ 回答：答案是：必须有啊~ 解题步骤： 1.原来的设置方法：File -> Settings -> 搜索框搜索 maven -> 弹出后进行设置，如下图： 不知道可爱的你是否注意到图上右 阅读全文
摘要：
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 阅读全文
摘要：
在当前场景下，segment 片段默认大小是1Gb，一般情况下当 segment 到达 1Gb 时就会生成新的 segment，依次类推。是否会存在 segment 未到达 1Gb 就会生成新的 sgement 的情况? 要想回答以上情况，就要知道生成新的 segment 和哪些因素有关系？ 一、s 阅读全文