执果索因调整greenplum table dk值
前面一篇文章写到如何通过gp_segment_id来判断表的DK值设置有数据,下面是通过查看占用空间的量来检查分配不平衡的表,并重新调整着DK值。我的一台greenplum机器,其中的一个节点的数据量比其它的节点多很多,说明数据分布的不平衡,如下所示:
以sdw16为例:
$du -sh /gpdata{1,2}/data/gp*
347G /gpdata1/data/gp30
412G /gpdata1/data/gp62
357G /gpdata1/data/gp63
336G /gpdata2/data/gp31
338G /gpdata2/data/gp94
343G /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出单文件超过200MB的,且统计了超过1GB的文件出现的次数(因为PG设置单文件大小不超过1GB,超过1GB的文件,会分成xxx.1,xxx.2的形式存在)。脚本里面的最后一列就是文件名,也即pg_class里面的relfilenode。gp_distribution_policy里面存储的是DK值的策略分布,pg_attribute里面存放着表的具体列的信息。下面的SQL就是找出文件所对应的表以及DK的定义。
$du -sh /gpdata{1,2}/data/gp*
347G /gpdata1/data/gp30
412G /gpdata1/data/gp62
357G /gpdata1/data/gp63
336G /gpdata2/data/gp31
338G /gpdata2/data/gp94
343G /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出单文件超过200MB的,且统计了超过1GB的文件出现的次数(因为PG设置单文件大小不超过1GB,超过1GB的文件,会分成xxx.1,xxx.2的形式存在)。脚本里面的最后一列就是文件名,也即pg_class里面的relfilenode。gp_distribution_policy里面存储的是DK值的策略分布,pg_attribute里面存放着表的具体列的信息。下面的SQL就是找出文件所对应的表以及DK的定义。
select a.oid,a.relname,b.nspname,c.attrnums,d.attname
from
pg_class a
inner join
pg_namespace b
on a.relnamespace=b.oid
inner join
gp_distribution_policy c
on a.oid=c.localoid
inner join
pg_attribute d
on a.oid=d.attrelid
where a.relfilenode=[filename]
and d.attnum=any(c.attrnums)
接着,查看表的数据大致的情况,重新设置DK值;然后通过gp_segment_id分布的情况进行检验,最终vacuum full+analyze,把该表调整到最佳状态。
标签:
greenplum
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
2011-01-13 ubuntu cx_Oracle安装手记