08 2023 档案
摘要:1、切分键 数据集成任务上提供了一个切分键的设置,那么该切分键是否可以对源库SQL查询有一定的提升,进而提高数据同步任务的整体效率呢? 切分键:(1)可以将源数据表中某一列作为切分键,建议使用主键或有索引的列作为切分键,因为为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热点。 (2)
阅读全文
摘要:## 查询table的帮助 odps@project_name>help table; --返回结果如下。 Usage: alter table <tablename> merge smallfiles Usage: export table <tablename> Usage: show tabl
阅读全文
摘要:1、查询所有表信息: TABLES表提供数据库表信息。该部分数据包括表的元数据与部分表对应数据的元数据,如分区信息等。 --如果希望了解某一个SCHEMA下有多少张不同类型的表,可以查询这张表。例如: SELECT DISTINCT TABLE_CATALOG, TABLE_NAME FROM in
阅读全文
摘要:一、一级分区 (一)创建分区表 create table if not exists sale_detail( shop_name STRING, customer_id STRING, total_price DOUBLE) partitioned by (sale_date STRING); (
阅读全文
摘要:(一)产品架构 表格存储的架构极大参考了BigTable,使用LSM(Log-Structured Merge-Tree)存储引擎,能够提供极高的 写性能,同时,基于主键Key的单行查询及范围查询性能稳定可预期,不受数据规模及访问并发的影响。 1.基础架构 表格存储的基础架构如下图所示。 (1) 最
阅读全文
摘要:一、二级索引简介 如果要将部分属性作为条件或者只是调整主键列顺序来查询数据,可以通过创建一张或多张索引表,使用索引表的主键列查询,二级索引相当于把数据表的主键查询能力扩展到了不同的列。 二级索引支持在指定列上建立索引,生成的索引表中的数据按照指定的索引列进行排序,数据表的每一个数据写入都会自动同步到
阅读全文
摘要:1、查询分区表中每天分区的平均条目数和数据量 --查询pro_dwd_measure_gj_prd项目空间的分区表,分区信息中包含202307的表,每天的平均记录数和容量大小。 WITH table_info AS ( SELECT SPLIT_PART(table_guid,'.',2) proj
阅读全文
摘要:1.创建OTS表 2.创建OTS外部表,并导入数据 --创建外部表 DROP TABLE IF EXISTS external_ots_lineitem_1t; CREATE EXTERNAL TABLE IF NOT EXISTS external_ots_lineitem_1t ( l_orde
阅读全文