TDSQL-PG 数据重分布

记录一次数据重分布造成的数据库抖动。

何为数据重分布:

 

select * from t1,t2 where t1.id1=t2.id2;

• 若id1,id2都为分片键,在做算子下推到dn时，由于分片键是hash算法，所以id1，id2相同的值都在同一个dn上。每个dn可以独立完成数据过滤。dn计算的数据在CN聚合后，返回客户端。
• 若id1,id2有一个不是分片键，在做算子下推到dn时，dn无法单独完成数据过滤，需要跟其它dn建立连接，获取缺失的数据后，再进行数据过滤。过滤完成后，将数据在cn汇聚后反馈给客户端。---这就是数据重分布

数据重分布的危害：

• dn和dn之间会建立大量连接，会导致dn连接数上升。高并发场景下，造成dn连接数打满。
• 导致SQL效率变慢。

整改方案：

• 约束开发：高并发SQL的where条件中，只能允许通过分片键过滤。---对开发要求较高
• 分布式表改造成复制表：每个DN上有完整的数据，通过非分片键进行过滤时，没有数据的重分布。---若表较大，十分浪费存储

 

set lock_timeout=30000;

create table t_product_0818  (like t_product  including all) distribute by replication to group default_group;  ---including all不包括外键
alter table t_product rename to t_product_ori_0818 ;  
insert into t_product_0818 select * from t_product_ori_0818  ;
vacuum analyze t_product_0818   ;
alter table t_product_0818   rename to t_product ;