06 2024 档案

使用spark-sql处理Doris大表关联
摘要：背景 最近项目上有一个需求，需要将两张表(A表和B表)的数据进行关联并回写入其中一张表(A表)，两张表都是分区表，但是关联条件不包括分区字段。 分析过程 方案一 最朴素的想法，直接关联执行，全表关联，一条SQL搞定全部逻辑。想法越简单，执行越困难。由于数据量大，服务器规模较小，尽管各台服务器内存和C 阅读全文
posted @ 2024-06-12 18:06 相由心生，命由己造 阅读(124) 评论(0) 推荐(0) 编辑