消除高流量导致的PostgreSQL瓶颈
2022-03-06 16:04 abce 阅读(323) 评论(0) 编辑 收藏 举报强调性能瓶颈,有很多方面值得关注,但是为了便于讨论,这里只从以下几个方面讨论:
1.调优性能参数
默认的参数是为了尽量少使用资源,如果不调整这些参数,会导致cpu和io消耗过高。
·effective_cache_size:50-70%。
参考:https://www.cnblogs.com/abclife/p/14565691.html
·shared_buffer:ram的1/4--1/3。设置的太低,会导致cpu和io消耗变高。
·work_mem:10MB。设置的小会导致sort操作使用磁盘临时表,影响性能。设置的过大,虽然不会影响性能,但是高并发环境会导致内存饥饿。
2.会话连接
高流量通常表现为在短时间内建立的大量连接。太多的连接会阻塞进程,并且会延迟查询响应,甚至会导致会话错误。如果不深入研究 postgres 日志,则可能无法轻松确定根本原因分析。
推荐的连接池软件为:pgbouncer
3.autovacuum:基础方面
参数:autovacuum_max_workers(可以配成cpu的数量)、maintenance_work_men、autovacuum_freeze_max_age
4.autovacuum:高级方面
针对具体表进行设置:
ALTER TABLE .. SET STORAGE_PARAMETER
5.数据膨胀(bloat)
使用pg_repack扩展
6.热点数据
创建合适的索引、heap only tuple、table partitioning、parallel query、设计反范式化
7.应用进程竞争
避免将应用和pg数据库部署在相同的服务器上。
8.复制延迟
异步复制、同步复制
9.服务器环境
内存、cpu、硬盘、磁盘分区等
关于监控和统计信息