一个参考pg 监控方案
摘要：参考图 简单说明 metrics以及log是组合监控的核心，log 的处理需要pg 实例配置相关的log 参数可以基于syslog 以及logstash 收集到 graylog，对于metrcis 的处理基于了telegraf（使用各类plugin，db，os。。。） 说明 pmm 也是一个不错的工
阅读全文
posted @ 2020-12-20 12:55
随笔分类 - postgres
explain.depesz.com 在线pg查询计划查看工具
摘要：explain.depesz.com 在线pg查询计划查看工具，使用此工具我们可以分析sql 的执行 同时也开源了源码,以下是一个参考使用 环境准备 sql文件参考 https://gitlab.com/depesz/explain.depesz.com docker-compose 文件 vers
阅读全文
posted @ 2020-12-18 19:52
Vertically Scaling PostgreSQL
摘要：转自:https://pgdash.io/blog/scaling-postgres.html PostgreSQL can scale rather well vertically. The more resources (CPU, memory, disk) that you can make
阅读全文
posted @ 2020-12-18 17:29
Dynamic Monitoring of PostgreSQL Instances Using pg_top
摘要：转自:https://severalnines.com/database-blog/dynamic-monitoring-postgresql-instances-using-pgtop Monitoring PostgreSQL can, at times, be like trying to w
阅读全文
posted @ 2020-12-17 21:04
What to Check if PostgreSQL Memory Utilization is High
摘要：转自:https://severalnines.com/database-blog/what-check-if-postgresql-memory-utilization-high Reading from memory will always be more performant than goi
阅读全文
posted @ 2020-12-17 21:02
patroni 管理pg 集群修改运行参数的方法
摘要：patroni是一个很不错的pg 高可用方案，但是有些参数我们是不能直接修改的，实际上官方提供了一个restapi 而且大部分操作也是基于restapi的 参考修改命令 比如修改pg work_mem curl -s -XPATCH -d '{"postgresql":{"parameters":{
阅读全文
posted @ 2020-12-17 17:53
timescaledb-tune timescaledb 官方提供的db 优化配置
摘要：timescaledb-tune 是timescaledb官方出的一个db 优化cli 工具，使用比较简单，同时会自动基于 系统资源情况给我们一个较优的db 运行参数，可以简化timescaledb系统优化 参考资料 https://github.com/timescale/timescaledb-
阅读全文
posted @ 2020-12-17 17:51
pg_top试用
摘要：以前有整理过一些关于pg监控的工具，其中有介绍到pg_top,以下是一个简单的学习使用 环境准备 基于虚拟机部署的，centos8 安装pg sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-8
阅读全文
posted @ 2020-11-13 17:34
zombodb 3000 alpha1发布
摘要：两天前zombodb 发布了3000 alpha1 发布了，当然也有很大的调整 使用rust 开发pg 扩展（基于zombodb 团队的pgx 框架） 新版本只支持es 7.x 以下查询语法的调整 当然zombodb 二进制文件的下载模式也是有了很大的调整（收费模式） 说明 基于rust pgx 的
阅读全文
posted @ 2020-11-07 22:00
Materialize under the Hood
摘要：来自官方的一个简单介绍Materialize的工作原理，参考链接 https://materialize.io/materialize-under-the-hood/ Today we will take a bit of a tour of the moving parts that make u
阅读全文
posted @ 2020-11-01 13:18
materialize 参考架构
摘要：materialize 包含了materialized 服务，用来处理sql 交互以及sources 参考图 materialize内部结构 参考说明 从以上图我们至少可以了解下materialize的工具机制 参考资料 https://materialize.io/docs/overview/ar
阅读全文
posted @ 2020-11-01 12:38
materialize 试用
摘要：前边有大概介绍过materialize，以下是一个简单的试用（基于官方文档，官方同时也提供了容器的运行环境） 环境准备 docker-compose 文件 version: "3" services: materialize: image: materialize/materialized:v0.5
阅读全文
posted @ 2020-11-01 12:08
materialize 基于sql 的流式数据处理平
摘要：materialize 是基于pg 开发的一个可以处理流式数据的平台，同时提供了强大的数据处理能力（也出现在了最新的技术雷达中） 参考处理图 通过下图可以看到支持批处理以及实时数据处理，我们可以通过sql 支持强大的数据处理 说明 materialize 基于rust 开发，从目前官方文档的介绍发现
阅读全文
posted @ 2020-11-01 11:11
jdbc连接池工具与pg fdw连接的问题 二
摘要：上次有简单介绍过关于pg fdw 对于使用连接池故障的问题，经过几天的调试以及摸索 ，印证了上次说的关于 sql 预编译处理的，目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重，会造成db 异常 ，然后自动恢复， 同时会造成连接异常，如果还需要使用连接池比较推荐使用hikari，需要我们
阅读全文
posted @ 2020-10-15 20:29
追踪postgres 后端调用情况
摘要：以下是篇文章来自官方文档，主要介绍下关于pg 系统如何调试后端调用情况的，后边好好研究下，最近刚好 碰到一个关于pg fdw 调用的问题，可以学习下如果基于工具分析原因 参考资料 https://wiki.postgresql.org/wiki/Getting_a_stack_trace_of_a_
阅读全文
posted @ 2020-10-14 13:22
jdbc连接池工具与pg fdw连接的问题
摘要：最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析，直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考 因为项目默认使用了alibaba 的druid 连接池工具发现没请求几
阅读全文
posted @ 2020-10-14 13:00
tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md
摘要：属于一个常见问题，解决方法还是查看日志，可以配置的参数 配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志，进行问
阅读全文
posted @ 2020-10-12 22:25
Managing PostgreSQL users and roles
摘要：转自:https://aws.amazon.com/cn/blogs/database/managing-postgresql-users-and-roles/,一篇很不错的介绍pg 权限的 PostgreSQL is one of the most popular open-source rela
阅读全文
posted @ 2020-09-29 16:34
odyssey prometheus 监控
摘要：因为odyssey 兼容pgbouncer，我们可以直接使用pgbouncer的exporter 环境准备 docker-compose 文件 version: "3" services: postgres: image: postgres:12 ports: - "5432:5432" envir
阅读全文
posted @ 2020-08-22 17:33
odyssey 试用
摘要：以下是odyssey 的一个试用 环境准备 docker-compose 文件 version: "3" services: postgres: image: postgres:12 ports: - "5432:5432" environment: - "POSTGRES_PASSWORD=dal
阅读全文
posted @ 2020-08-22 17:21
