windows下PostgreSQL数据库定时自动非全量备份及还原指南 【完整探索版】
一、环境及背景
1、环境
本文系统环境为windows7,pgsql版本为10.17。
2、背景
progreSQL的各种管理工具中对数据库的备份都是整库全量备份,而项目库中某几个表是只读表,而且这几个表的数据量巨大(上亿条,大约45G)。此前提下采用全量备份无疑会对服务器的存储空间提出较高的要求。在存储有限的条件下需要寻求一种仅对业务表(或者与业务联系较密切的表)进行定时备份的解决方案。
二、备份
打开win命里提示符终端,执行pg_dump备份命令,单表备份为例。
参数提前说明:
-U postgres 数据库用户名称 --role postgres 数据库用户角色 -f "E:\Program Files\PostgreSQL\10backup\test.backup" 备份文件输出位置 -d Test_BeidouVehicle 备份数据库BeidouVehicle -t BVEFence备份数据库指定表BVEFence
其他参数详见【五、附录】。
1、第一次尝试
pg_dump -h localhost -p 5432 -U postgres --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t BVEFence
2、第二次尝试:指定pg_dump运行程序路径
"E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t BVEFence
3、第三次尝试:将table用双引号括起来
"E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t "BVEFence"
4、第四次尝试:查询后发现要转义 \”tableName\”
"E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t \"BVEFence\"
输入密码,备份成功。
多个表的话,最后 -t table1 -t table2 追加即可。
四、还原
执行pg_restore命令,还原备份。此处的备份文件包含结构和数据。
1、第一次尝试
pg_restore -h localhost -p 5432 -d Test_BeidouVehicle -U postgres "E:\Program Files\PostgreSQL\10backup\test.backup"
2、第二次尝试:指定pg_restore的文件目录
"E:\Program Files\PostgreSQL\10\bin\pg_restore.exe" -h localhost -p 5432 -d Test_BeidouVehicle -U postgres "E:\Program Files\PostgreSQL\10backup\test.backup"
输入口令,运行弹了3个警告。
这是因为,备份文件中包含数据库、表的结构及数据,前两个警告分别是数据库建库时已存在、表建表时已存在警告。第三个警告是因为:在表数据备份完后,数据并没做任务处理,全部数据都还存在,数据存在报的警告。
此时如果先清空数据,再还原第三个警告便不会再报。
3、第三次尝试:先清空BVEFence表数据,再执行2中语句
我们看到第三个警告就没有了。前两个警告没有问题。
四、备份的自动化
在第<二>部分中我们成功备份了表的数据及结构,但是过程中需要手动输入数据库口令即密码,要自动化处理的话肯定不行。首先要解决口令输入问题。接下来要解决的是定时执行问题。
1、postgreSQL在windows下备份自动输入密码
①第一次尝试:参照五、附录中,链接选项增加参数 -w
"E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t \"BVEFence\"
因为没输入密码,故连接失败。这里-w仅仅是不提示,不代表不输入。
②第二次尝试: 修改数据库的pg_hba.conf配置文件内容,可以这样设置针对某个ip进行trust。
# IPv4 local connections:
host all all 127.0.0.1/32 md5
改成:
host all all 127.0.0.1/32 trust
改外之后重启pgsql服务(当然如果方便的话直接重启计算机也行),再执行命令。
依然链接失败。
③将语句写入批处理文件,并执行。
bat文件内容:
@echo off & setlocal EnableDelayedExpansion "E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t \"BVEFence\" pause
依然链接失败。
④在bat文件中设置数据库链接密码 set PGPASSWORD=password
bat完整内容:
@echo off & setlocal EnableDelayedExpansion ::数据库密码 set PGPASSWORD=1234 "E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t \"BVEFence\" pause
终于成功了!
接下来又分别测试了PGPASSWORD参数不区分大小写。
然后将上边改②中修改的配置参数修改回来,重启。再执行依然成功。
去掉参数中的-w 依然不提示输入口令。
set PGPASSWORD=password 先执行后,可以理解为PGPASSWORD以环境变量的形式存在,后续需要输入PGPASSWORD的时候自动获取。
2、定时执行
采用windows定时任务的方式,脱离项目独立运行。
首先打开Windows系统的“开始”菜单,从中依次点选“程序”/“附件”/“系统工具”/“任务计划程序”命令。
①常规信息:任务名及安全选项。
②触发器:设置触发条件
③操作:指向编辑好的批处理文件,此处以“测试.bat”为测试脚本。成功会在其所在文件夹下传建一个名称以“test_yyyy-MM-dd_hhmm”为格式的文件夹。
值得注意的是:脚本文件中不能存在pause语句,否则执行完一次后会一直阻塞在任务队列中。
④条件:根据需要选择条件
⑤设置:“请求后任务还在运行,强行将其停止”如果发生以外上一次没执行成功,后一次执行可以将其清理掉。不然会一直阻塞在任务队列中。
⑥确定:当前账号如果没有设置密码,可能会报错,类似于策略保护之类的,应该也可以在策略中配置以绕过,此处不做尝试。
⑦结果:
注:实际配置根据具体情况去配置。
------------------------- 以上--------------------------
五、附录
pg_dump命令参数说明
pg_dump 把一个数据库转储为纯文本文件或者是其它格式.
用法:
pg_dump [选项]... [数据库名字]
一般选项: -f, --file=FILENAME 输出文件或目录名 -F, --format=c|d|t|p 输出文件格式 (定制, 目录, tar) 明文 (默认值)) -v, --verbose 详细模式 -V, --version 输出版本信息,然后退出 -Z, --compress=0-9 被压缩格式的压缩级别 --lock-wait-timeout=TIMEOUT 在等待表锁超时后操作失败 -?, --help 显示此帮助, 然后退出 控制输出内容选项: -a, --data-only 只转储数据,不包括模式 -b, --blobs 在转储中包括大对象 -c, --clean 在重新创建之前,先清除(删除)数据库对象 -C, --create 在转储中包括命令,以便创建数据库 -E, --encoding=ENCODING 转储以ENCODING形式编码的数据 -n, --schema=SCHEMA 只转储指定名称的模式 -N, --exclude-schema=SCHEMA 不转储已命名的模式 -o, --oids 在转储中包括 OID -O, --no-owner 在明文格式中, 忽略恢复对象所属者 -s, --schema-only 只转储模式, 不包括数据 -S, --superuser=NAME 在明文格式中使用指定的超级用户名 -t, --table=TABLE 只转储指定名称的表 -T, --exclude-table=TABLE 不转储指定名称的表 -x, --no-privileges 不要转储权限 (grant/revoke) --binary-upgrade 只能由升级工具使用 --column-inserts 以带有列名的INSERT命令形式转储数据 --disable-dollar-quoting 取消美元 (符号) 引号, 使用 SQL 标准引号 --disable-triggers 在只恢复数据的过程中禁用触发器 --exclude-table-data=TABLE 不转储指定名称的表中的数据 --inserts 以INSERT命令,而不是COPY命令的形式转储数据 --no-security-labels 不转储安全标签的分配 --no-tablespaces 不转储表空间分配信息 --no-unlogged-table-data 不转储没有日志的表数据 --quote-all-identifiers 所有标识符加引号,即使不是关键字 --section=SECTION 备份命名的节 (数据前, 数据, 及 数据后) --serializable-deferrable 等到备份可以无异常运行 --use-set-session-authorization 使用 SESSION AUTHORIZATION 命令代替 ALTER OWNER 命令来设置所有权 联接选项: -h, --host=主机名 数据库服务器的主机名或套接字目录 -p, --port=端口号 数据库服务器的端口号 -U, --username=名字 以指定的数据库用户联接 -w, --no-password 永远不提示输入口令 -W, --password 强制口令提示 (自动) --role=ROLENAME 在转储前运行SET ROLE 如果没有提供数据库名字, 那么使用 PGDATABASE 环境变量 的数值. 报告错误至 <pgsql-bugs@postgresql.org>.