代码改变世界

消除高流量导致的PostgreSQL瓶颈

2022-03-06 16:04  abce  阅读(323)  评论(0编辑  收藏  举报

强调性能瓶颈,有很多方面值得关注,但是为了便于讨论,这里只从以下几个方面讨论:

1.调优性能参数

    默认的参数是为了尽量少使用资源,如果不调整这些参数,会导致cpu和io消耗过高。

·effective_cache_size:50-70%。

参考:https://www.cnblogs.com/abclife/p/14565691.html

·shared_buffer:ram的1/4--1/3。设置的太低,会导致cpu和io消耗变高。

·work_mem:10MB。设置的小会导致sort操作使用磁盘临时表,影响性能。设置的过大,虽然不会影响性能,但是高并发环境会导致内存饥饿。

2.会话连接

    高流量通常表现为在短时间内建立的大量连接。太多的连接会阻塞进程,并且会延迟查询响应,甚至会导致会话错误。如果不深入研究 postgres 日志,则可能无法轻松确定根本原因分析。

    推荐的连接池软件为:pgbouncer

3.autovacuum:基础方面

    参数:autovacuum_max_workers(可以配成cpu的数量)、maintenance_work_men、autovacuum_freeze_max_age

4.autovacuum:高级方面

    针对具体表进行设置:

ALTER TABLE .. SET STORAGE_PARAMETER

5.数据膨胀(bloat)

    使用pg_repack扩展

6.热点数据

    创建合适的索引、heap only tuple、table partitioning、parallel query、设计反范式化

7.应用进程竞争

    避免将应用和pg数据库部署在相同的服务器上。

8.复制延迟

    异步复制、同步复制

9.服务器环境

    内存、cpu、硬盘、磁盘分区等

关于监控和统计信息