kafka业务数据到ODS层处理小记
摘要：kafka业务数据到ODS层处理小记 1：kafka消息partition分区，应以表主键为key 2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、upda
阅读全文
posted @ 2023-04-21 09:32
随笔分类 - 06kafka
【flink学习系列1】sink文件到kafka
摘要：import java.util.Properties; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.serialization.SimpleStringSch
阅读全文
posted @ 2022-10-30 20:17
【flink学习系列2】消费kafka数据sink到Postgresql
摘要：import java.util.Properties; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; im
阅读全文
posted @ 2022-10-30 20:15
Flink消费kafka获取kafka消息的offset
摘要：参考：https://chengyanan.blog.csdn.net/article/details/112391375 虽然Flink消费kafka有着完善的checkpoint机制，可以使得程序停止后再次能从上一次的消费位点继续消费，但是有时候flink的checkpoint也会失败，或者ch
阅读全文
posted @ 2022-10-12 15:17
kafka如何手动异步提交offset
摘要：转：https://blog.csdn.net/CREATE_17/article/details/108722808 kafka手动异步提交 offset 的步骤大概分为以下几步，如下图所示： 1、配置手动提交 enable.auto.commit 修改为 false 。 2、订阅 topic c
阅读全文
posted @ 2022-09-13 14:19
kafka基础知识
摘要：转：https://blog.csdn.net/weixin_45943729/article/details/105771846 消息队列-Kafka一、消息队列（MQ）消息队列是存储数据的一个中间件，可以理解为一个容器。 消息：传输数据的基本单位。 消息从源被发往队列中，消费者可以拉取消息进行消
阅读全文
posted @ 2022-09-09 10:13
kafka手动提交offset
摘要：转：https://www.cnblogs.com/simple-li/p/16149862.html 手动提交offset 手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。 相同点：都会将本次提交的一批数据最高的偏移量提交 不同点： 同
阅读全文
posted @ 2022-09-08 17:45
kafka创建topic
摘要：参考：https://www.jianshu.com/p/9a9b80b6befd
阅读全文
posted @ 2022-08-31 23:24
centos kafka 集群配置
摘要：参考：https://www.cnblogs.com/zhangzl419/p/15842606.html 【1】配置zookeeper [root@xxxxpcV7-03 config]# pwd/usr/kafka_2.12-3.2.1/config [root@xxxxpcV7-03 conf
阅读全文
posted @ 2022-08-31 23:19
kafka启动失败报错Uninitialized object exists on backward branch 193
摘要：参考：https://www.dandelioncloud.cn/article/details/1511278739240636417 [root@xxxxpcV7-03 bin]# nohup sh -x kafka-server-start.sh ../config/server.proper
阅读全文
posted @ 2022-08-31 22:47
java实现kafka生产者消费者
摘要：参考：https://blog.csdn.net/zhengzaifeidelushang/article/details/121984379 深入浅出理解kafka原理系列之：java实现kafka消费者 一、pom.xml引入kafka依赖 二、kafka消费者程序 三、kafka生产者程序 四
阅读全文
posted @ 2022-08-31 16:29
centos7安装kafka
摘要：参考：https://blog.csdn.net/yang1393214887/article/details/123425715 1. 官网下载https://kafka.apache.org/downloads https://dlcdn.apache.org/kafka/3.1.0/kafka
阅读全文
posted @ 2022-08-30 23:32
