消除高流量导致的PostgreSQL瓶颈
2022-03-06 16:04 abce 阅读(344) 评论(0) 编辑 收藏 举报强调性能瓶颈,有很多方面值得关注,但是为了便于讨论,这里只从以下几个方面讨论:
1.调优性能参数
默认的参数是为了尽量少使用资源,如果不调整这些参数,会导致cpu和io消耗过高。
·effective_cache_size:50-70%。
参考:https://www.cnblogs.com/abclife/p/14565691.html
·shared_buffer:ram的1/4--1/3。设置的太低,会导致cpu和io消耗变高。
·work_mem:10MB。设置的小会导致sort操作使用磁盘临时表,影响性能。设置的过大,虽然不会影响性能,但是高并发环境会导致内存饥饿。
2.会话连接
高流量通常表现为在短时间内建立的大量连接。太多的连接会阻塞进程,并且会延迟查询响应,甚至会导致会话错误。如果不深入研究 postgres 日志,则可能无法轻松确定根本原因分析。
推荐的连接池软件为:pgbouncer
3.autovacuum:基础方面
参数:autovacuum_max_workers(可以配成cpu的数量)、maintenance_work_men、autovacuum_freeze_max_age
4.autovacuum:高级方面
针对具体表进行设置:
ALTER TABLE .. SET STORAGE_PARAMETER
5.数据膨胀(bloat)
使用pg_repack扩展
6.热点数据
创建合适的索引、heap only tuple、table partitioning、parallel query、设计反范式化
7.应用进程竞争
避免将应用和pg数据库部署在相同的服务器上。
8.复制延迟
异步复制、同步复制
9.服务器环境
内存、cpu、硬盘、磁盘分区等
关于监控和统计信息
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)