摘要：
为了防止消息重复消费导致业务处理异常，消息队列RocketMQ版的消费者在接收到消息后，有必要根据业务上的唯一Key对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。 什么是消息幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务 阅读全文
posted @ 2024-04-25 09:29
Robots2
阅读(75)
评论(0)
推荐(0)
摘要：
一、测试代码 public void testEquals() { int int1 = 12; int int2 = 12; Integer integer1 = new Integer(12); Integer integer2 = new Integer(12); Integer intege 阅读全文
posted @ 2024-04-22 15:06
Robots2
阅读(126)
评论(0)
推荐(0)
摘要：
一、资料准备 1、mysql地址选择 因为阿里云只读节点binlog保留时间短，需要用读写集群地址。可以登录阿里云控制台查看地址是只读还是读写，不清楚的话可以找dba要读写地址。 二、Iceberg概念 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据 阅读全文
posted @ 2024-04-22 12:15
Robots2
阅读(1681)
评论(0)
推荐(0)
摘要：
一、问题追踪 问题 详细描述 提出问题时间 是否完成 计划完成时间 备注 了解Iceberg数据存储方式 了解元数据存储信息、数据组织方式、查询时处理流程等 20231013 是 20231019 ！！！20231124前均为大致的时间 调研报告：调研报告-基于 Iceberg 构建湖仓一体平台调研 阅读全文
posted @ 2024-04-22 10:55
Robots2
阅读(272)
评论(0)
推荐(0)
摘要：
一、登录spark客户端 spark-sql --master yarn \ --deploy-mode client \ --queue default \ --name wang \ --driver-memory 12G \ --num-executors 10 \ --executor-co 阅读全文
posted @ 2024-04-22 10:48
Robots2
阅读(437)
评论(0)
推荐(0)
摘要：
一、安装 1、root用户上传文件 cd wangrz -bey luoshu-1.0-bin.tar.gz 2、解压文件到服务目录 重新安装洛书需执行：rm -rf /usr/local/service/luoshu mkdir /usr/local/service/luoshu tar -zxf 阅读全文
posted @ 2024-04-22 10:45
Robots2
阅读(71)
评论(0)
推荐(0)
摘要：
一、背景 mysql数据入湖后，有同事需要实时抽取iceberg v2表，想通过iceberg做分钟级实时数仓。目前flink社区暂不支持读取v2表。腾讯内部支持 目前只能用Oceanus内置connector，支持flink1.13版本。需要读写时都用iceberg-1.1去处理，因为写入是定制i 阅读全文
posted @ 2024-04-19 16:47
Robots2
阅读(574)
评论(0)
推荐(0)
摘要：
一、数据打快照做数据比较 1、mysql创建快照 优点：可以选择时间做快照，然后对比 缺点：需要额外的存储空间和处理时间，不好自动化，大表做快照成本高 2、实现方式 create database 快照名称 on (name=数据库名称,filename='存放快照路径/文件名.ss' as sna 阅读全文
posted @ 2024-04-19 15:09
Robots2
阅读(166)
评论(0)
推荐(0)
摘要：
一、安装nodejs 1、下载自己系统的nodejs，我选择18.20版本 https://nodejs.cn/download/ 二、设置 1、设置镜像源： npm config set registry https://registry.npmmirror.com 2、在命令行中创建一个文件.n 阅读全文
posted @ 2024-04-18 22:46
Robots2
阅读(3172)
评论(0)
推荐(0)
浙公网安备 33010602011771号