centos 6.x 编译安装 pgsql 9.6
文章结构如下:
一. 环境配置
1. 配置防火墙
查看IPTABLES 当前状态与关闭过程
chkconfig --list|grep iptables
关闭iptables
service iptables stop
chkconfig iptables off
关闭selinux
setenforce 0
vi /etc/sysconfig/selinux
将SELINUX值改为disabled
2.禁用Linux透明大页
1.查看透明大页是否启用
RHEL 6:
# cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
[oracle@rhel 6 ~]$ cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
[always] madvise never
RHEL 7:
# cat /sys/kernel/mm/transparent_hugepage/enabled
[root@rhel 7 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
2.禁用透明大页
RHEL 6:
(1).编辑 /etc/grub.conf 文件,在kernel 那一行后面追加 transparent_hugepage=never
例如:
default=0
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title Red Hat Enterprise Linux 6 (2.6.32-642.el6.x86_64)
root (hd0,0)
kernel /vmlinuz-2.6.32-642.el6.x86_64 ro root=/dev/mapper/rootvg-lvroot rd_NO_LUKS KEYBOARDTYPE=pc KEYTABLE=us LANG=en_US.UTF-8 rd_LVM_LV=rootvg/lvswap rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=rootvg/lvroot rd_NO_DM rhgb quiet transparent_hugepage=never
initrd /initramfs-2.6.32-642.el6.x86_64.img
(2).重启系统生效。
RHEL 7:
(1).编辑/etc/sysconfig/grub 文件,在 GRUB_CMDLINE_LINUX 那一行后面追加 transparent_hugepage=never
例如:
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rootvg/root rd.lvm.lv=rootvg/swap rhgb quiet transparent_hugepage=never"
GRUB_DISABLE_RECOVERY="true"
(2).再使用 grub2-mkconfig 生成grub.cfg配置文件。
# grub2-mkconfig -o /boot/grub2/grub.cfg
(3).重启系统使配置生效。
认为最简单方便的:查询大页配置
grep Huge /proc/meminfo
AnonHugePages: 0 kB 与透明大页有关,透明大页关闭,则显示0
HugePages_Total: 65560 大页总数量
HugePages_Free: 65560
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
3.选择deadline IO调度
修改I/O调度器;需要在 /etc/grub.conf 加入elevator=deadline
kernel /vmlinuz-2.6.32-642.el6.x86_64 ro root=/dev/mapper/rootvg-lvroot rd_NO_LUKS KEYBOARDTYPE=pc KEYTABLE=us LANG=en_US.UTF-8 rd_LVM_LV=rootvg/lvswap rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=rootvg/lvroot rd_NO_DM rhgb quiet transparent_hugepage=never elevator=deadline rhgb quiet
重启后查看:
cat /sys/block/sda/queue/scheduler
二. 编译安装PG
1.安装依赖包
利用yum安装所需的源码包:
rm -f /etc/yum.repos.d/*
mount /dev/cdrom /mnt
vi /etc/yum.repos.d/rhel-debuginfo.repo
[rhel-debuginfo]
name=rhel-debuginfo
baseurl=file:///mnt/
enabled=1
gpgcheck=0
yum clean all
yum -y install readline readline-develbison bison-devel flex flex-develzlib-devel gcc* c* lrzsz wget readline-devel uuid uuid-devel zlib* bison zlib-static readline-devel --skip-broken
或者
yum -y install readline readline-develbison bison-devel flex flex-develzlib-devel gcc* c* lrzsz wget readline-devel uuid uuid-devel zlib* bison zlib-static readline-devel lib* rtld* e2fsprogs-deve* --skip-broken
(yum一定要弄好,不行的话,建议网络yum)
2.下载源码
cd /usr/local/src
wget https://ftp.postgresql.org/pub/source/v9.6.3/postgresql-9.6.3.tar.gz
编译安装
mkdir -p /usr/local/pgsql
tar -zxvf postgresql-9.6.3.tar.gz
cd postgresql-9.6.3
./configure --with-ossp-uuid --prefix=/usr/local/pgsql
或者是:
./configure --prefix=/usr/pgsql-9.6 --with-perl --with-tcl --with-python --with-openssl --with-pam --without-ldap --with-libxml --with-libxslt --with-uuid=ossp
gmake world
gmake install-world
3.新建普通用户
groupadd postgres
useradd -g postgres postgres
创建数据库目录并授权
mkdir -p /pgsql/pg_data
mkdir -p /pgsql/pg_archive
mkdir -p /pgsql/pg_log
chown -R postgres:postgres /pgsql/pg_*
4. 配置环境变量
/home/postgres/.bash_profile
export PGHOME=/usr/local/pgsql
export PGDATA=/pgsql/pg_data
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export DATE=`date +"%Y%m%d%H%M"`
export PATH=$PGHOME/bin:$PATH:.
export MANPATH=$PGHOME/share/man:$MANPATH
export PGUSER=postgres
export PGDATABASE=postgres
alias rm='rm -i'
alias ll='ls -lh'
export LANG="zh_CN.UTF8"
5.初始化数据库
su - postgres
source .bash_profile
initdb -D $PGDATA -E UTF-8 --locale=C -U postgres -W
6.postgresql.conf参数就设置
- 修改pg数据库配置文件,修改完成后如下(我的是虚拟机 8g内存):
cat /pgsql/pg_data/postgresql.conf | egrep -v '^#|^$' | grep '^[a-zA-Z]'
listen_addresses = '192.168.10.11'# what IP address(es) to listen on; --监听IP
port = 5432# (change requires restart)
max_connections = 200# (change requires restart)
shared_buffers = 2GB# min 128kB --建议为内存的1/4--1/2
temp_buffers = 256MB# min 800kB --用于数据库会话访问临时表数据,可以在单独的session中对该参数进行设置,尤其是需要访问比较大的临时表时,将会有显著的性能提升。
work_mem = 12MB# min 64kB --可以称之为工作内存或者操作内存。其负责内部的sort和hash操作,max_connections*work_mem+shared_buffers+temp_buffers+maintenance_work_mem+操作系统所需内存不能够超过整个的RAM大小,这是非常重要的
maintenance_work_mem = 512MB# min 1MB 要针对VACUUM,CREATE INDEX,REINDEX等操作。在对整个数据库进行VACUUM或者较大的index进行重建时,适当的调整该参数非常必要。
shared_preload_libraries = 'pg_stat_statements'# (change requires restart)
pg_stat_statements.max = 100
pg_stat_statements.track = all
wal_level = hot_standby # minimal, archive, or hot_standby
checkpoint_segments = 90 # in logfile segments, min 1, 16MB each 表示自动触发检查点时,当前最大的WAL日志文件段的数量
checkpoint_timeout = 5min # range 30s-1h 表示自动触发检查点的时间间隔。增大这个参数同样会延长系统崩溃后恢复的时间。
checkpoint_completion_target = 0.8# checkpoint target duration, 0.0 -1.0 该参数表示checkpoint的完成目标,系统默认值是0.5,也就是说每个checkpoint需要在checkpoints间隔时间的50%内完成
checkpoint_warning = 0# 0 disables 系统默认值是30秒,如果checkpoints的实际发生间隔小于该参数,将会在server log中写入写入一条相关信息。可以通过设置为0禁用信息写入。
archive_mode = on# allows archiving to be done
archive_command = 'test ! -f /pgsql/pg_archive/%f && cp %p /pgsql/pg\_archive/%f'# command to use to archive a logfile segment
archive_timeout = 0# force a logfile segment switch after this 这个参数只能在postgresql.conf文件中被设置。默认值是0。一般情况下,数据库只有在一个事务日志文件写满以后,才会切换到下一个事务日志文件,设定这个参数可以让数据库在一个事务日志文件尚未写满的情况下切换到下一个事务日志文件。
max_wal_senders = 6# max number of walsender processes 也就是说,max_wal_senders是为了让一个master端,带多个slave端用的,基本上每一对master--slave用一个链接。但是,还需要注意,pg_basebackup也会用到一个。
wal_keep_segments = 512 # in logfile segments, 16MB each; 0 disables WAL日志设置
synchronous_standby_names = ''# standby servers that provide sync rep
hot_standby = on# "on" allows queries during recovery
max_standby_streaming_delay = 30s# max delay before canceling queries
wal_receiver_status_interval = 10s# send replies at least this often 声明 pg_xlog 目录下所能保留的旧日志文件段的最小数目,备服务器需要获 取它们进行流复制
effective_cache_size = 5GB 优化器假设一个查询可以使用的最大内存(包括pg使用的和操作系统缓存),和shared_buffer等内存无关,只是给优化器生成计划使用的一个假设值。
log_destination = 'csvlog'# Valid values are combinations of stderr – 保存到.csv文件
logging_collector = on# Enable capturing of stderr and csvlog 是否将日志重定向至文件中,默认是off(该配置修改后,需要重启DB服务)
log_directory = '/pgsql/pg_log'# directory where log files are written,
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'# log file name pattern,
log_rotation_age = 7d# Automatic rotation of logfiles will 单个日志文件的生存期,默认1天,在日志文件大小没有达到
log_rotation_size = 500MB# Automatic rotation of logfiles will 单个日志文件的大小,如果时间没有超过log_rotation_age
log_statement = 'mod'# none, ddl, mod, all 控制记录哪些SQL语句。将此配置设置为all可跟踪整个数据库执行的SQL语句。
log_timezone = 'America/Manaus' #日志时区 'Asia/Shanghai' 最好和服务器设置同一个时区,方便问题定位
track_activity_query_size = 3096 # (change requires restart)指定跟踪每个活动会话当前执行命令所保留的字节数,它们被用于pg_stat_activity.query域。默认值是1024。这个参数只能在服务器启动时被设置。
datestyle = 'iso, mdy'
timezone = 'America/Manaus'
lc_messages = 'C'# locale for system error message
lc_monetary = 'C'# locale for monetary formatting
lc_numeric = 'C'# locale for number formatting
lc_time = 'C'# locale for time formatting
default_text_search_config = 'pg_catalog.english'
7.pg_hba.conf 参数配置
TYPE 参数设置
TYPE 表示主机类型,值可能为:
若为 `local` 表示是unix-domain的socket连接,
若为 `host` 是TCP/IP socket
若为 `hostssl` 是SSL加密的TCP/IP socket 只能使用SSL TCP/IP连接,
DATABASE 参数设置
DATABASE 表示数据库名称,值可能为:
`all` ,`sameuser`,`samerole`,`replication`,`数据库名称` ,或者多个
数据库名称用 `逗号`,注意ALL不匹配 replication
USER 参数设置
USER 表示用户名称,值可以为:
`all`,`一个用户名`,`一组用户名` ,多个用户时,可以用 `,`逗号隔开,
或者在用户名称前缀 `+` ;在USER和DATABASE字段,也可以写一个单独的
文件名称用 `@` 前缀,该文件包含数据库名称或用户名称
ADDRESS 参数设置
该参数可以为 `主机名称` 或者`IP/32(IPV4) `或 `IP/128(IPV6)`,主机
名称以 `.`开头,`samehost`或`samenet` 匹配任意Ip地址
METHOD 参数设置
该值可以为"trust", "reject", "md5", "password", "scram-sha-256",
"gss", "sspi", "ident", "peer", "pam", "ldap", "radius" or "cert"
注意 若为`password`则发送的为明文密码
ident是Linux下PostgreSQL默认的local认证方式,凡是能正确登录服务器的操作系统用户(注:不是数据库用户)就能使用本用户映射的数据库用户不需密码登录数据库。用户映射文件为pg_ident.conf,这个文件记录着与操作系统用户匹配的数据库用户,如果某操作系统用户在本文件中没有映射用户,则默认的映射数据库用户与操作系统用户同名。比如,服务器上有名为user1的操作系统用户,同时数据库上也有同名的数据库用户,user1登录操作系统后可以直接输入psql,以user1数据库用户身份登录数据库且不需密码。很多初学者都会遇到psql -U username登录数据库却出现“username ident 认证失败”的错误,明明数据库用户已经createuser。原因就在于此,使用了ident认证方式,却没有同名的操作系统用户或没有相应的映射用户。解决方案:1、在pg_ident.conf中添加映射用户;2、改变认证方式。
md5是常用的密码认证方式,如果你不使用ident,最好使用md5。密码是以md5形式传送给数据库,较安全,且不需建立同名的操作系统用户。
password是以明文密码传送给数据库,建议不要在生产环境中使用。
trust是只要知道数据库用户名就不需要密码或ident就能登录,建议不要在生产环境中使用。
reject是拒绝认证。
注意
修改该配置文件中的参数,必须重启 `postgreSql`服务,若要允许其它IP地址访问
该主机数据库,则必须修改 `postgresql.conf` 中的参数 `listen_addresses` 为 `*`
重启:pg_ctl reload 或者 执行 SELECT pg_reload_conf()
配置以下参数
# TYPE DATABASE USER ADDRESS METHOD
host all all 10.10.56.17/32 md5
"pg_hba.conf" 99L, 4720C
参数说明
host 参数表示安装PostgreSQL的主机
all 第一个all 表示该主机上的所有数据库实例
all 第二个all 表示所有用户
10.10.56.17/32 表示需要连接到主机的IP地址,32表示IPV4
md5 表示验证方式
即上述表示允许IP地址为10.10.56.17的所有用户可以通过MD5的密码验证方式连接主机上所有的数据库
也可以指定具体的数据库名称和 用户
# TYPE DATABASE USER ADDRESS METHOD
host test pgtest 10.10.56.17/32 md5
即表示允许地址为 10.10.56.17 的用户 pgtest通过 MD5方式 加密的密码方式连接主机上的 test 数据库
也可以指定整个网段
# TYPE DATABASE USER ADDRESS METHOD
host test pgtest 0.0.0.0/0 md5
即表示允许 任意iP 通过用户名为 pgtest 和md5的 密码 验证方式连接主机上 test 的数据库
不进行密码验证
# TYPE DATABASE USER ADDRESS METHOD
host test pgtest 0.0.0.0/0 trust
表示任意IP地址的用户 pgtest 无需密码验证可直接连接访问该主机的 test 数据库
8.开启数据库
pg_ctl start -D $PGDATA -l /home/pg_log/pgsql.log
pg_ctl -D /pgsql/pg_data/ reload
9. 其他参数修改
由于安装需要进行热备份,且归档模式开启
开启WAL归档进行热备
创建归档目录
目录已经创建并且权限已经修改:/pgsql/pg_archive/
修改WAL_LEVEL参数
Wal_level 参数可选值有 minimal,replica,logical 级别依次增高,在WAL中包含的信息越多,minimal 这一级别的无法开启WAL归档。所以WAL归档至少设置为replica。
alter system set wal_level='replica';
select * from pg_settings where name='wal_level';
需要重启生效。
修改ARCHIVE_MODE参数
select * from pg_settings where name='archive_mode';
该参数值为on,off,always,默认为off,开启归档需要修改为on
重启后:
修改ARCHIVE_COMMAND参数
Archive_mode值可以是一条shell命令或者一个复杂的脚本,默认值为空。修改archive_command不需要重启,只需要reload,如果命令设置不成功,他会周期性的重试,再次期间已有的WAL文件将不会被重复。
pg_basebackup的命令行参数:
-D指定吧备份写道那个目录。
-F指定输出格式,其中,format为p(plain) 或者t(tar)。
-x或者--xlog:备份时会把备份中产生的xlog文件也自动备份出来,这样在恢复数据库时,应用这些xlogs文件把数据库推到一个一致的时间点,然后正真打开这个备份的数据库。这个与”-X fetch” 完全一样的。使用时需要设置”wal_keep_segments” 参数,以保证备份的过程中,WAL日志不会被覆盖。
-P 允许在备份过程中实时打印备份进度。
-v 详细模式,使用-P后,还会打印出正在备份的具体文件的信息。
有关pg_basebackup创建基础备份
修改:pg_hba.conf
postgresql.conf文件中,修改max_wal_senders参数:
max_wal_senders = 2
重启生效。
11以前这个参数要初始化的时候,才能设置wal大小。
wal_keep_segments 参数,wal日志,默认16M,修改完后要重启生效。
wal_keep_segments=128 --即设置WAL生成的XLOG日志为128M
WAL日志维护
1. 参数max_wal_size/min_wal_size
9.5以前: (2 + checkpoint_completion_target) * checkpoint_segments + 1
9.5:PostgreSQL 9.5 将废弃checkpoint_segments 参数, 并引入max_wal_size 和 min_wal_size 参数,
通过max_wal_size和checkpoint_completion_target 参数来控制产生多少个XLOG后触发检查点,
通过min_wal_size和max_wal_size参数来控制哪些XLOG可以循环使用。
2. 参数wal_keep_segments
在流复制的环境中。使用流复制建好备库,如果备库由于某些原因接收日志较慢。导致备库还未接收到。就被覆盖了。导致主备无法同步。这个需要重建备库。
避免这种情况提供了该参数。每个日志文件大小16M。如果参数设置64. 占用大概64×16=1GB的空间。根据实际环境设置。
3. pg_resetxlog
在前面参数设置合理的话。是用不到pg_resetxlog命令。