PostgreSQL之background writer
background writer进程是什么
background writer进程是将共享内存中的脏页写入磁盘的进程。
在对数据进行处理之前都需要将数据从磁盘读到内存中，更新完毕后再将修改的数据写回磁盘，在postgresql中由backgroud writer与server process负责将“脏“数据写回磁盘。
大致过程是这样的：
先由backgroud writer进程进行写，剩余的数据再由server process进程完成
background writer进程的相关参数
background writer在postgresql.conf中有一个专门的部分来配置它的行为
# - Background Writer - #bgwriter_delay = 200ms # 10-10000ms between rounds #bgwriter_lru_maxpages = 100 # max buffers written/round, 0 disables #bgwriter_lru_multiplier = 2.0 # 0-10.0 multiplier on buffers scanned/round #bgwriter_flush_after = 512kB # measured in pages, 0 disables
bgwriter_delay
backgroud writer进程连续两次flush数据之间的时间的间隔。默认值是200，单位是毫秒。
bgwriter_lru_maxpages
backgroud writer进程每次写的最大数据量，默认值是100，单位buffers。如果脏数据量小于该数值，写操作全部由backgroud writer进程完成；反之，大于该值时，大于的部分将由server process进程完成。设置该值为0时表示禁用backgroud writer写进程，完全由server process来完成；配置为-1时表示所有脏数据都由backgroud writer来完成。(这里不包括checkpoint操作)
bgwriter_lru_multiplier
此参数指示了每次写入磁盘的数据块数，当然，该值必须小于bgwriter_lru_maxpages。如果设置过小，需要写入的脏数据量大于每次写入的数据量，剩下的需要写入磁盘的工作，就需要server processes来完成，这将会降低性能。如果值配置太大，此时写入的脏数据量就会超过所需的缓冲区数量，这虽然便于以后再次应用缓冲区工作，但同时可能会出现IO浪费。这个参数的默认值是2.0。bgwriter的最大数据量计算方式：
1000/bgwriter_delay*bgwriter_lru_maxpages*8K=最大数据量
上述参数对于数据文件所在磁盘的带宽也很有参考意义
参数值依据系统状态而设置，通过监控系统的运行状况，进行分析总结，为参数配置合适的值。参考数据字典pg_stat_bgwriter。
postgres=# \d pg_stat_bgwriter View "pg_catalog.pg_stat_bgwriter" Column | Type | Collation | Nullable | Default -----------------------+--------------------------+-----------+----------+--------- checkpoints_timed | bigint | | | checkpoints_req | bigint | | | checkpoint_write_time | double precision | | | checkpoint_sync_time | double precision | | | buffers_checkpoint | bigint | | | buffers_clean | bigint | | | maxwritten_clean | bigint | | | buffers_backend | bigint | | | buffers_backend_fsync | bigint | | | buffers_alloc | bigint | | | stats_reset | timestamp with time zone | | | postgres=# SELECT pg_stat_get_bgwriter_timed_checkpoints() AS checkpoints_timed, pg_stat_get_bgwriter_requested_checkpoints() AS checkpoints_req, pg_stat_get_bgwriter_buf_written_checkpoints() AS buffers_checkpoint, pg_stat_get_bgwriter_buf_written_clean() AS buffers_clean, pg_stat_get_bgwriter_maxwritten_clean() AS maxwritten_clean, pg_stat_get_buf_written_backend() AS buffers_backend, pg_stat_get_buf_alloc() AS buffers_alloc; checkpoints_timed | checkpoints_req | buffers_checkpoint | buffers_clean | maxwritten_clean | buffers_backend | buffers_alloc -------------------+-----------------+--------------------+---------------+------------------+-----------------+--------------- 590 | 3 | 3 | 0 | 0 | 0 | 226 (1 row)
bgwriter_flush_after
当数据页大小达到bgwriter_flush_after时触发BgWriter，默认值为512KB。
为什么需要background writer
postgresql中脏数据的写入不仅仅是由backgroud writer参数决定的，checkpoint也对脏数据的写入进行了控制。
backgroud writer进程的间隔是以毫秒计算，而checkpoint的间隔时间相对要很长。所以bgwriter更像是在checkpoint的周期内去完成脏数据的写入。所以bgwriter进程如果能够实现周期均匀数据量合适的写入数据，减少IO的次数，对checkpoint也能够减轻压力，不至于发生集中的写入操作，而造成IO使用的高值，可以说backgroud writer间接使系统的IO负载趋于稳定。
