Robots2

摘要： 一、问题描述 在iceberg rewrite时报错：org.apache.iceberg.exceptions.ValidationException: Cannot commit, found new delete for replaced data file 看信息像是对于要删除的DataFi 阅读全文

摘要： 一、本地ssh配置 1、本地没有.ssh目录，第一次初始化ssh，一直回车键默认值 ssh-keygen -t rsa -P '' 2、设置目录权限 chmod 700 -R .ssh 设置目录权限 3、公钥追加到本机 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authoriz 阅读全文

摘要： 一、背景 来源于埋点上报服务，埋点上报服务是用户打开APP后点击、浏览、曝光等数据都会上报到埋点服务，收集数据后用来公司运营。 本次踩坑来源于监控到上课高峰期net.sockets.tcp.timewait达到系统设置的最大值5000，为了降低高峰期timewait数量，参考网上介绍可以调整三个参数 阅读全文

摘要： 一、问题描述 用户配置了高级参数很多，观察kafka增量数据不多，flink负载不高情况下两个checkpoint后才可查询到数据。 排查时hdfs有数据文件产生，但是mainfast文件中最新快照id没变化。 二、原因 经腾讯排查，用户参数指定高级参数execution.checkpointing 阅读全文

摘要： 一、flink到logger 1、source create table source_table ( id bigint comment '唯一编号' ,order_number bigint comment '订单编号' ,update_timestamp timestamp_ltz metad 阅读全文

摘要： 一、如何做一致性保障 1、全量数据分片读取，增量数据单并发读取，保证增量阶段不会乱序2、全量阶段写入失败会清空表后重新写入，避免重复数据。3、全量阶段多task并行读取，把每个task开始结束时间提交给Flink Coordinator，由Coordinator做时间合并后，仅读取一次全量同步区间内 阅读全文

摘要： 一、日志 1、hivemetastore日志 简介：查看运行情况，其它组件会通过hivemetastore获取表信息 tail -f /data/emr/hive/logs/hadoop-hivemetastore 二、连接 1、登录hive客户端（指定hivemetastore地址） hive - 阅读全文

摘要： 1、Iceberg事务特性解读 https://blog.csdn.net/naisongwen/article/details/123343566 2、FLink全链路时延—测量方式 https://www.cnblogs.com/felixzh/p/15392228.html 3、Flink E 阅读全文

摘要： 一、背景 腾讯Flink使用 KafkaSource API创建source端，源码中默认开启了checkpoint的时候提交offset 到kafka-broker。读取kafka数据写入到iceberg 目前发现一个问题，就是消费数据的时候，消费一段时间后，kafka-group的 offset 阅读全文

摘要： Apache Flink 的 Change Data Capture (CDC) 功能主要用于实时捕获数据库中的变更记录，并将其转换为事件流以供下游处理。为了保证全量和增量数据同步时数据的一致性、不丢失和不重复读取，Flink CDC 采用了以下策略： 一、保证一致性与不丢失 1、使用事务 当进行全 阅读全文