02 2022 档案

TDSQL 之 OSS 扩容
摘要：主控机： 在主控机上将OSS包传至新OSS机器 # cd /data/tdsql_full_install_ansible/roles/oss/files # scp -rp OSS.tgz 172.16.1.93:/data/application/ 新OSS机器： # cd /data/appl 阅读全文
posted @ 2022-02-24 16:46 www.cqdba.cn 阅读(158) 评论(0) 推荐(0) 编辑
6.pgBackRest 介绍及示例
摘要：1.pgBackRest 介绍 pgBackRest是一款开源的备份还原工具，目标旨在为备份和还原提供可靠易用的备份。 pgBackRest旨在成为一个可靠、易于使用的备份和恢复解决方案，通过利用针对数据库特定要求优化的算法，可以无缝扩展到最大的数据库和工作负载。 pgBackRest 放弃了其他传 阅读全文
posted @ 2022-02-24 16:39 www.cqdba.cn 阅读(840) 评论(0) 推荐(0) 编辑
psql连接报错connections on Unix domain socket “/pgsql/data/.s.PGSQL.5432“?
摘要：1. 现象 # 直接psql 连接异常 postgres@s2ahumysqlpg01-> psql psql: error: could not connect to server: could not connect to server: No such file or directory Is 阅读全文
posted @ 2022-02-24 15:21 www.cqdba.cn 阅读(1667) 评论(0) 推荐(0) 编辑
5.Barman介绍及使用
摘要：1. Barman介绍 Barman（备份和恢复管理器）是用于PostgreSQL服务器进行灾难恢复的开源管理工具，是以Python编写的。它支持对多台服务器执行远程备份，以降低风险并帮助DBA进行数据库恢复。Barman基于GNU GPL 3发行，由PostgreSQL项目的白金赞助商2ndQua 阅读全文
posted @ 2022-02-23 19:33 www.cqdba.cn 阅读(972) 评论(0) 推荐(0) 编辑
4.pg_rman介绍及使用
摘要：1.pg_rman 介绍 1.1 pg_rman 介绍 • pg_rman类似于oracle的rman备份策略，实现了全量、增量、归档的层级的备份，可以很灵活的管理PostgreSQL数据库的备份，pg_rman是一款开源的pg的备份恢复插件支持在线和基于PITR的备份恢复方式。 • pg_rman 阅读全文
posted @ 2022-02-22 18:11 www.cqdba.cn 阅读(1687) 评论(0) 推荐(0) 编辑
2.pg_start_backup备份及使用
摘要：1.pg_start_backup 介绍 pg_start_backup() 和 pg_stop_backup()是postgreSQL提供的一种备份方式。 1.1 pg_start_backup: 1.强制发生一次checkpoint点。 将未写到磁盘上的脏数据全部刷到磁盘上去。这样从这之后产生的 阅读全文
posted @ 2022-02-22 12:19 www.cqdba.cn 阅读(614) 评论(0) 推荐(0) 编辑
2.网关组缩容
摘要：注意:如果是已创建的实例： 可能需要在实例和zk中 更改配置文件 （1）后台修改 zk 中的缩容时间，将 240 分钟修改为 1 分钟 # cd /data/application/zookeeper/bin/ # ./zkCli.sh # get /tdsqlzk/manager/manager_ 阅读全文
posted @ 2022-02-22 10:08 www.cqdba.cn 阅读(41) 评论(0) 推荐(0) 编辑
1.网关组扩容
摘要：在主控机上添加 newproxy.yml 脚本 # vim newproxy.yml 添加如下内容： - name: install newproxy beginning hosts: newproxy remote_user: root gather_facts: false roles: - b 阅读全文
posted @ 2022-02-22 10:07 www.cqdba.cn 阅读(70) 评论(0) 推荐(0) 编辑
1.pg_basebackup 介绍及使用
摘要：1. pg_basebackup 简介 是从postgresql 9.1版本开始提供的一个方便基础备份的工具 pg_basebackup用于对正在运行的PostgreSQL数据库集群进行基本备份。备份是在不影响数据库的其他客户端的情况下进行的，并且可以用于时间点恢复和作为日志传送或流复制备用服务器的 阅读全文
posted @ 2022-02-21 20:23 www.cqdba.cn 阅读(7643) 评论(0) 推荐(1) 编辑
PG里 user,db,schema,table 之间的关系
摘要：1.结论 1.schema是每个database中都有的。 schema概念有点像命名空间或者把它想像成一个文件系统中的目录 2.user是pg cluster级别的。 3.查询表，是指定 schema.tablename USER : -> 可以在DB里创建同名的schema ,指定 search 阅读全文
posted @ 2022-02-21 15:28 www.cqdba.cn 阅读(1378) 评论(0) 推荐(0) 编辑
4.pg_bulkload 数据加载使用及示例
摘要：1.pg_bulkload 概述 1.1 pg_bulkload 介绍 pg_bulkload是一种用于PostgreSQL的高速数据加载工具，相比copy命令。最大的优势就是速度。优势在让我们跳过shared buffer,wal buffer。直接写文件。pg_bulkload的direct模式 阅读全文
posted @ 2022-02-20 20:48 www.cqdba.cn 阅读(3155) 评论(0) 推荐(1) 编辑
3. copy 使用及示例
摘要：1.copy概述 https://www.postgresql.org/docs/14/sql-copy.html copy 命令用于表与文件(和标准输出，标准输入)之间的相互拷贝； copy to由表至文件，copy from由文件至表； copy 命令是到数据库服务端找文件，以超级用户执行导入导 阅读全文
posted @ 2022-02-20 20:35 www.cqdba.cn 阅读(839) 评论(0) 推荐(0) 编辑
2.pg_dumpall 使用及示例
摘要：1.pg_dumpall 概述 1.1 pg_dumpall 介绍 https://www.postgresql.org/docs/14/app-pg-dumpall.html 用于将集群的所有PostgreSQL数据库写入（ “转储” ）到一个脚本文件中。该脚本文件包含可用作psql的输入以恢复数 阅读全文
posted @ 2022-02-20 20:31 www.cqdba.cn 阅读(4521) 评论(1) 推荐(0) 编辑
1. pg_dump 使用及示例
摘要：1.pg_dump 概述 1.1 pg_dump 介绍 https://www.postgresql.org/docs/14/app-pgdump.html pg_dump是用于备份一种PostgreSQL数据库的工具。即使数据库正在被并发使用，它也能创建一致的备份。pg_dump不阻塞其他用户访问 阅读全文
posted @ 2022-02-20 12:13 www.cqdba.cn 阅读(8223) 评论(0) 推荐(0) 编辑
4.HDFS DN 节点扩容
摘要：1 .规划 部署前要求：新扩容的 DN 机器需要与当前 HDFS 集群机器时间同步。 部署前要求：新扩容的 DN 机器需要与当前 HDFS 集群机器时间同步。 当前 NN（namenode）节点： 10.99.0.6 node01 10.99.0.14 node02 扩容 DN（datanode）节 阅读全文
posted @ 2022-02-19 11:28 www.cqdba.cn 阅读(100) 评论(0) 推荐(0) 编辑
pgbench 使用介绍及示例
摘要：1.pgbench概要 pgbench是一种在PostgreSQL上运行基准测试的简单程序, 它是pg自带的工具； 它可能在并发的数据库会话中一遍一遍地运行相同序列的 SQL 命令，并且计算平均事务率（每秒的事务数）； 默认情况下，pgbench会测试一种基于 TPC-B 但是要更宽松的场景，其中在 阅读全文
posted @ 2022-02-19 11:09 www.cqdba.cn 阅读(4349) 评论(0) 推荐(0) 编辑
1.如何判断 idle in transaction 为僵尸事务
摘要：1.idle in transaction 在日常运维过程中通过系统进程经常会看到一些idle in transaction 状态的连接，对于这种状态的连接我们怎么判断是不是僵尸事务呢？还是说此事务状态有还未提交的信息。 postgres=# select pid, state from pg_st 阅读全文
posted @ 2022-02-18 13:52 www.cqdba.cn 阅读(1432) 评论(0) 推荐(0) 编辑
2. TDSQL 物理备份文件说明：
摘要：xtrabackup+1610789818+20210116+173658+172.30.0.17+4005+1162661+20210116+173720+3+xbstream.lz4 备份工具 + 可能是OSS事务号 + 开始日期+开始时间 +IP +端口 + serverid + 结束日期+结 阅读全文
posted @ 2022-02-17 09:23 www.cqdba.cn 阅读(57) 评论(0) 推荐(0) 编辑
【案例】 单个实例的元数据备份恢复
摘要：#测试思路： 1.备份原分布式库 2.备份原来分布式库zk中的原数据 3.从hdfs 中导出备份文件 -- 这里在同一个集群中就没有导出 4.把备份文件导入到新集群的hdfs 中 5.在新集群中还原元数据 6.在hdfs中可能要重命名备份文件 7.在导入的实例中 进行回档操作 #问题： 恢复的时候， 阅读全文
posted @ 2022-02-17 09:15 www.cqdba.cn 阅读(87) 评论(0) 推荐(0) 编辑
5.6.10 HDFS DN 节点扩容
摘要：#1 规划 当前 NN（namenode）节点： 10.99.0.6 node01 10.99.0.14 node02 扩容 DN（datanode）节点： 10.99.0.31 node04 部署前要求：新扩容的 DN 机器需要与当前 HDFS 集群机器时间同步。 #2 新增扩容机器准备磁盘和创建 阅读全文
posted @ 2022-02-16 10:20 www.cqdba.cn 阅读(81) 评论(0) 推荐(0) 编辑
【案例】 实例已删除 如何恢复
摘要：问题：主要是 分布式的物理备份 ， 我又不能手动来恢复。 思路： 1.要先创建一个实例 ，然后将备份移动到该实例的路径下，然后进行的恢复 1.在赤兔上创建新的实例 2.在hdfs 上根据实例信息 创建相关目录 group_1610847854_45 ，set_1610848126_1 如果有多个分片 阅读全文
posted @ 2022-02-16 10:15 www.cqdba.cn 阅读(122) 评论(0) 推荐(0) 编辑
1. 将 TDSQL 接入已经在使用的 HDFS
摘要：1、全局变量（一般在/etc/profile） 全局环境变量一致，我们默认提供的 hadoop 相关全局环境变量在/etc/profile 里，客户这边做的可 能会有区别 # vim /etc/profile 将 hadoop 环境变量复制到所有的 DB 机器上 例如下图内容： 复制保存完成后 在所 阅读全文
posted @ 2022-02-16 10:09 www.cqdba.cn 阅读(131) 评论(0) 推荐(0) 编辑
1.PGbadger 慢日志分析工具
摘要：1.介绍 PostgreSQL日志分析器“ pgBadger ”是一个用 Perl 编写的开源“快速 PostgreSQL 日志分析报告”程序，它从正在运行的 PostgreSQL 实例获取日志输出并将其处理成 HTML 文件。它生成的报告以漂亮且易于阅读的报告格式显示所有信息。这些报告可以帮助阐明 阅读全文
posted @ 2022-02-15 14:26 www.cqdba.cn 阅读(2221) 评论(0) 推荐(0) 编辑
关于 PG CVE-2022-21724 漏洞处理
摘要：问题： 早上收到邮件 ，USCERT 报告了 PostgreSQL JDBC 驱动程序的严重漏洞。 该漏洞允许攻击者通过远程执行代码来控制易受攻击的系统。 分析：刚开始以为是以下2个版本授影响，后来发现是，在这2个版本将修复 · prior to 42.2.25· prior to 42.3.2结论 阅读全文
posted @ 2022-02-11 11:07 www.cqdba.cn 阅读(1221) 评论(0) 推荐(0) 编辑
pg_top 安装使用
摘要：https://cdn.modb.pro/db/48198 1.pg_top 安装使用 wget -c https://gitlab.com/pg_top/pg_top/-/archive/master/pg_top-master.zip #1.下载安装包： https://github.com/m 阅读全文
posted @ 2022-02-10 17:58 www.cqdba.cn 阅读(1061) 评论(0) 推荐(0) 编辑
4.PG自带插件安装 示例 pgstattuple
摘要：#1.检查插件包 和 脚本 postgres@s2ahumysqlpg01-> pwd /u01/postgresql/pg12/lib postgres@s2ahumysqlpg01-> ls -l pg* -rwxr-xrwx. 1 postgres postgres 13192 Nov 23 阅读全文
posted @ 2022-02-09 17:02 www.cqdba.cn 阅读(866) 评论(0) 推荐(0) 编辑
PG 参数设置的正确方式
摘要：#1.查看参数文件位置 show config_file ; show hba_file ; show ident_file ; 也可以用pg_settings数据字典来查看 postgres=# select name,setting from pg_settings where category 阅读全文
posted @ 2022-02-08 11:23 www.cqdba.cn 阅读(1228) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示