摘要： 背景 最近项目上有一个需求，需要将两张表(A表和B表)的数据进行关联并回写入其中一张表(A表)，两张表都是分区表，但是关联条件不包括分区字段。 分析过程 方案一 最朴素的想法，直接关联执行，全表关联，一条SQL搞定全部逻辑。想法越简单，执行越困难。由于数据量大，服务器规模较小，尽管各台服务器内存和C 阅读全文

摘要： 今天在写SQL时，遇到了一个异常，提示semantic exception generate map join error unable to find class，udf编写的没毛病，其他SQL也有使用这个UDF，为什么就这一个SQL不行？ 经过分析，确定map join是Local Task，在 阅读全文

摘要： 今天遇到一个情况，一条SQL语句执行提示如下异常。 Lock wait timeout exceeded; try restarting transaction 翻译一下是说，获取锁超时，尝试重新启动事务。翻译一下就是当我们申请对表进行加锁时，另外一个事务已经对这个表加了锁，经过一段时间等待后，我们 阅读全文

摘要： ```SQL select count(1) from table_a where my_date between '20230715' and '20230717'; ``` 上面的SQL我们发现只统计了20230715、20230716的数据，没有17日的数据。难道BETWEEN AND不包含边 阅读全文

摘要： ## 版本信息： - Flink 1.17.1 - Doris 1.2.3 - Flink Doris Connector 1.4.0 ## 写入方式 采用 String 数据流，依照社区网站的[样例代码](https://doris.apache.org/zh-CN/docs/1.2/ecosys 阅读全文

摘要： 在将Doris集成到CM时，第一次打的包存在问题，想更新下，停用、删除Parcel时出现了问题卡住了，一直显示75%。无奈换了名称和版本，分配、激活，然后又卡在了75%，点开后，发现是同一台机器。其agent日志显示正在删除parcel，网上查一圈，发现重启agent就可以解决问题。 clouder 阅读全文

摘要： 近期想统计下各表占用的存储空间大小，官网文档SHOW-TABLE-STATUS给的语句很简单，但是对于列的含义写的不是很明白，我写入数据验证了一下。 Doris版本：1.2 查看当前数据库下所有表的信息 SHOW TABLE STATUS; 查看指定数据库下，名称包含 exam 的表的信息 SHOW 阅读全文

摘要： 背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 阅读全文

摘要： 异常描述 java.lang.ClassNotFoundExcetion 解决方案 Run->Edit Configrations 弹出如下窗口 1.选中你的应用，2.点击Modify options，弹出如下窗口 选中“Add dependencies with "provided" scope 阅读全文

摘要： 先说方案：通过show partitions和hdfs url看到的都不是真正的分区名称，都是经过URI重新编码的，访问这些分区应该使用分区名称的原始字符串。 场景描述 当我们在SQL语句中使用变量时，很可能因为操作不当，导致变量并没有被替换掉，而是被直接当作分区名称。 查看分区信息 show pa 阅读全文