Greenplum运维经验
数据读写慢--分布键
- greenplum数据库的master会根据分布列的哈希,分配计划给segment节点。
- 合理规划分布键,对greenplum数据库的表查询性能至关重要,在创建表的时候需要指定分布键;gp数据库如果发生表数据倾斜,则无法发挥gp数据库的MPP。
- 若选择的分布列数值分布不均匀这可能导致数据倾斜,不能选择bool类型和时间日期类型数据做分布键。
- 选择数据分布均匀的列,或者多个列做分布键
- 选择经常需要join的列做分布键
- 尽量选择高频率出现的查询条件列作为分布键(比如:主键)
greenplum数据库磁盘锁
greenplum数据库一般设置磁盘锁设置在单个segment(如某个segment写满后锁实例),不会根据greenplum数据库的整体水位设置锁,因为MPP并不会进行远程计算,每个节点都有自己独立的CPU,内存和磁盘资源;
segment打散机制
greenplum的segment,分primary segment 和mirror segment 两种;一个segment计算组型号(例如:4P4m),4个primary一般分配在同一台主机上,而4个mirror分配到其他4台机器上;
primary和mirror的工作机制
- 这里有两个segment分片,其中P1M1是一对,P2M2是一对,如果单个segment规格是8c16g,那么P1M2资源总量就是8c16g,共享资源
- 如果p1m2发生故障,m1变成p1 ; 新p1和p2 共享资源
- 其中p为主要工作的,包括查询、读写、备份都是访问primary;只有在p异常时mirror才会切换为primary,开始接替primary的工作
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!