上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 34 下一页
摘要: sudo add-apt-repository ppa:ubuntu-wine/ppa sudo apt-get update sudo apt-get install wine1.7 安装完以后可以右键exe程序进行安装 新的wine 仅在Linux Mint 18.x上 $ sudo apt-a 阅读全文
posted @ 2024-12-31 18:35 Robots2 阅读(736) 评论(0) 推荐(0)
摘要: 通过PPA进行安装notepad++ sudo add-apt-repository ppa:notepadqq-team/notepadqq sudo apt-get update sudo apt-get install notepadqq 删除 sudo apt-get remove note 阅读全文
posted @ 2024-12-31 18:32 Robots2 阅读(154) 评论(0) 推荐(0)
摘要: 一、引用 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> </dependency> <!-- https://mvnreposit 阅读全文
posted @ 2024-12-31 14:13 Robots2 阅读(40) 评论(0) 推荐(0)
摘要: 一、背景 exl中需要关联两个Excel,根据主键合并两个单元格数据 二、使用方法 1、表1 列包含在id、姓名、年龄 2、表2 列包含姓名、性别 3、期望根据【姓名】列为主键,关联两个表数据,补充在【合并-性别】列 首先新增【合并-性别】列,然后选中期望填充的单元格,再点击2位置增加高级函数 4、 阅读全文
posted @ 2024-12-31 11:21 Robots2 阅读(651) 评论(0) 推荐(0)
摘要: 原因,是因为在某些类误点了断点,需要取消 阅读全文
posted @ 2024-12-26 17:38 Robots2 阅读(86) 评论(0) 推荐(0)
摘要: 一、问题背景 数据对比程序发现通过Flink cdc同步mysql写入Iceberg表运行一段时间后存在丢数问题,排查到丢数是由于hivemetastore钩子函数缺陷引起,由腾讯云EMR修复 钩子函数作用:在查询表时,更新hivemetastore中表的最近访问时间 产生丢数的原因:因钩子函数需要 阅读全文
posted @ 2024-11-22 18:41 Robots2 阅读(226) 评论(0) 推荐(0)
摘要: 一、获取任务信息 任务id:i01f51582-d8be-4262-aefa-000000 任务名称:ods_test1234 丢失的数据时间:2024-09-16 09:28:47 二、数据同步查看日志 1、筛选日志 筛选2024-09-16 09:28:47 的前后5分钟后数据 2、查找快照id 阅读全文
posted @ 2024-09-19 10:20 Robots2 阅读(234) 评论(0) 推荐(0)
摘要: 一、Amoro介绍 2024 年 3 月 11 日,Amoro 项目顺利通过投票,正式进入 Apache 软件基金会(ASF,Apache Software Foundation)的孵化器,成为 ASF 的一个孵化项目。 Amoro 是建立在开放数据湖表格式之上的湖仓管理系统。2020 年开始, 网 阅读全文
posted @ 2024-08-02 17:55 Robots2 阅读(1076) 评论(0) 推荐(0)
摘要: 一、背景 用户查询iceberg表时报文件为空,因为存在写入和治理程序同时操作iceberg表,需要查看空文件是哪个快照产生的,方便确定是flink写入缺陷还是spark治理缺陷 二、通过Sql查询文件所属哪个快照(推荐查询方式) 查询表的文件信息,根据data_file列信息筛选是哪个快照写入,s 阅读全文
posted @ 2024-08-02 16:48 Robots2 阅读(140) 评论(0) 推荐(0)
摘要: 一、背景 微批治理任务分多个job治理一张表,还有一个Flink程序每5分钟一次写入iceberg表,如治理任务划分了20个job治理一张表,在治理期间存在新的数据更新,如何保证治理准确性 二、治理时写入,快照对应信息 1、治理和写入时快照和文件变化 snapshot_id sequence num 阅读全文
posted @ 2024-07-17 09:23 Robots2 阅读(173) 评论(0) 推荐(0)
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 34 下一页