摘要：
一、数据打快照做数据比较 1、mysql创建快照 优点：可以选择时间做快照，然后对比 缺点：需要额外的存储空间和处理时间，不好自动化，大表做快照成本高 2、实现方式 create database 快照名称 on (name=数据库名称,filename='存放快照路径/文件名.ss' as sna 阅读全文
摘要：
一、安装nodejs 1、下载自己系统的nodejs，我选择18.20版本 https://nodejs.cn/download/ 二、设置 1、设置镜像源： npm config set registry https://registry.npmmirror.com 2、在命令行中创建一个文件.n 阅读全文
摘要：
一、系统类 1、隐藏文件夹 打开控制台输入：chflags hidden [拖入需要隐藏的文件夹] 2、特定软件触控栏一直显示F1-F12 选择左上角苹果-》系统设置-》键盘-》 3、设置三指拖拽 4、安装brew /bin/zsh -c "$(curl -fsSL https://gitee.co 阅读全文
摘要：
文章链接：https://www.cnblogs.com/liugp/p/16273966.html 阅读全文
摘要：
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 阅读全文
摘要：
总结 指标 清理前（已优化小文件） 清理后 查询速度 13秒 15秒（波动） 表总大小 26.4G 17.2G metadata目录文件数 75 42 data目录文件数 1501 602 ！！！需要先做小文件合并，然后再做过期快照比较好。 小文件合并：Iceberg小文件合并测试 一、清理任务资源 阅读全文
摘要：
总结 指标 合并前 合并后（因测试中多次合并，数据会偏多） 查询速度 246秒 13秒 表总大小 9.2G 26.4G 单个文件大小 1-25MB 60MB左右 metadata目录文件数 37 75 data目录文件数 900 1501 小文件合并后历史版本数据不会自动清理，需要做快照清理 快照清 阅读全文
摘要：
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable 阅读全文
摘要：
一、背景 我们使用 Iceberg 构建湖仓一体平台的初衷是希望解决业务方在使用 Hive 数仓时的一些痛点。主要包括以下几大方面： （1）现有的数据同步只支持全量同步，同步大表速度慢。 （2）Hive 的时效性不好，即使使用 FIink 流式的引擎写入，延迟也会在小时级别。 （3）Hive扫描数据 阅读全文
摘要：
1、查询表结构 show create table data_lake_ods.dws_service_subclazz_lesson_user_learn_stat_rt_v2 CREATE TABLE spark_catalog.data_lake_ods.test1 ( `user_numbe 阅读全文