执果索因调整greenplum table dk值

前面一篇文章写到如何通过gp_segment_id来判断表的DK值设置有数据，下面是通过查看占用空间的量来检查分配不平衡的表，并重新调整着DK值。我的一台greenplum机器，其中的一个节点的数据量比其它的节点多很多，说明数据分布的不平衡，如下所示：

以sdw16为例:
$du -sh /gpdata{1,2}/data/gp*
347G    /gpdata1/data/gp30
412G    /gpdata1/data/gp62
357G    /gpdata1/data/gp63
336G    /gpdata2/data/gp31
338G    /gpdata2/data/gp94
343G    /gpdata2/data/gp95

$cd /gpdata1/data/gp62/base/516096
$ll|awk  '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出单文件超过200MB的,且统计了超过1GB的文件出现的次数(因为PG设置单文件大小不超过1GB,超过1GB的文件,会分成xxx.1,xxx.2的形式存在)。脚本里面的最后一列就是文件名，也即pg_class里面的relfilenode。gp_distribution_policy里面存储的是DK值的策略分布，pg_attribute里面存放着表的具体列的信息。下面的SQL就是找出文件所对应的表以及DK的定义。

select a.oid,a.relname,b.nspname,c.attrnums,d.attname
from
pg_class a
inner join
pg_namespace b
on a.relnamespace=b.oid
inner join
gp_distribution_policy c
on a.oid=c.localoid
inner join
pg_attribute d
on a.oid=d.attrelid
where a.relfilenode=[filename]
and d.attnum=any(c.attrnums)

接着，查看表的数据大致的情况，重新设置DK值；然后通过gp_segment_id分布的情况进行检验，最终vacuum full+analyze，把该表调整到最佳状态。