随笔分类 -  postgresql extension

上一页 1 2 3 4 5 6 7 8 下一页

materialize 基于sql 的流式数据处理平
摘要：materialize 是基于pg 开发的一个可以处理流式数据的平台，同时提供了强大的数据处理能力（也出现在了最新的技术雷达中） 参考处理图 通过下图可以看到支持批处理以及实时数据处理，我们可以通过sql 支持强大的数据处理 说明 materialize 基于rust 开发，从目前官方文档的介绍发现 阅读全文

posted @ 2020-11-01 11:11 荣锋亮 阅读(863) 评论(0) 推荐(0) 编辑

jdbc连接池工具与pg fdw连接的问题 二
摘要：上次有简单介绍过关于pg fdw 对于使用连接池故障的问题，经过几天的调试以及摸索 ，印证了上次说的关于 sql 预编译处理的，目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重，会造成db 异常 ，然后自动恢复， 同时会造成连接异常，如果还需要使用连接池比较推荐使用hikari，需要我们 阅读全文

posted @ 2020-10-15 20:29 荣锋亮 阅读(339) 评论(0) 推荐(0) 编辑

jdbc连接池工具与pg fdw连接的问题
摘要：最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析，直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考 因为项目默认使用了alibaba 的druid 连接池工具发现没请求几 阅读全文

posted @ 2020-10-14 13:00 荣锋亮 阅读(351) 评论(0) 推荐(0) 编辑

tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md
摘要：属于一个常见问题，解决方法还是查看日志，可以配置的参数 配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志，进行问 阅读全文

posted @ 2020-10-12 22:25 荣锋亮 阅读(559) 评论(0) 推荐(0) 编辑

wal2json 2.3 dockerfile
摘要：wal2json 发布2.3 版本了，有好多新特性，以下是一个新特性的dokerfile dockerfile FROM postgres:11.2 AS build ENV VERSION 2_3 RUN buildDeps="curl build-essential ca-certificate 阅读全文

posted @ 2020-08-13 22:56 荣锋亮 阅读(509) 评论(1) 推荐(0) 编辑

EdgeDB 1.0 Alpha 4 发布了
摘要：EdgeDB 一直是一个比较期待的数据库，目前发布了Alpha 4，对sdk 的支持以及cli 工具以及server 端的处理都有增强 详细可以参考官方介绍 https://edgedb.com/blog/edgedb-1-0-alpha-4-barnard-s-star/ https://gith 阅读全文

posted @ 2020-07-17 12:41 荣锋亮 阅读(229) 评论(0) 推荐(0) 编辑

pgx zombodb 团队开源的基于rust 开发pg扩展
摘要：pgx 一个可以使用rust 开发pg 扩展的工具，由zombodb开源，当前支持的pg 有10，11，12 还是很不错的 特性 使用了cargo 的子命令 (pgx) 包括进行编译，安装，以及测试（很不错） postgres 的Datum 对应rust 的 pgx::IntoDatum 以及pgx 阅读全文

posted @ 2020-07-14 09:33 荣锋亮 阅读(760) 评论(0) 推荐(0) 编辑

几个方便处理wal log 的工具
摘要：整理几个用的比较多的wal log 工具 wal-e 基于python 开发的，功能还是比较强大的 wal-g 可以认为是wal-e 的升级版（基于golang 开发）更强大的是还支持mysql 以及mongo wal2json wal log 转换为json postgres-decoderbuf 阅读全文

posted @ 2020-03-26 09:12 荣锋亮 阅读(767) 评论(0) 推荐(0) 编辑

hasura graphql-engine 集成postgresql_anonymizer扩展的说明
摘要：postgresql_anonymizer是比较强大的数据脱敏框架，以下是与hasura graphql-engine 集成的简单说明 使用说明 方法一 最简单的使用数据脱敏的方式是基于postgresql_anonymizer 提供的mask schema，因为对于以上的脱敏的数据是通过 视图生成 阅读全文

posted @ 2020-03-23 23:09 荣锋亮 阅读(507) 评论(0) 推荐(0) 编辑

几个不错的pg 监控工具
摘要：以下是梳理的几个不错的pg 监控工具，方便分析pg的性能问题 pg_stat_statements http://www.postgres.cn/docs/11/pgstatstatements.html pg_top https://github.com/markwkm/pg_top pg_sys 阅读全文

posted @ 2020-03-23 08:25 荣锋亮 阅读(1705) 评论(0) 推荐(0) 编辑

pgspider timescale+citus 扩展docker 镜像
摘要：就是一个简单的docker 镜像，后边尝试如何集成 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cmake automake gcc a 阅读全文

posted @ 2020-03-14 10:24 荣锋亮 阅读(608) 评论(0) 推荐(0) 编辑

pgspider timescale 扩展docker 镜像
摘要：timescale 是我比较喜欢的一个pg 扩展，对于时序数据的处理很强大，以下是docker 镜像的制作 老样子基于基础镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && 阅读全文

posted @ 2020-03-14 10:08 荣锋亮 阅读(528) 评论(0) 推荐(0) 编辑

pgspider perl 语言扩展
摘要：perl 也算是一个小语言，但是功能很强大，以下是pgspider 集成perl的试用 以及docker基础镜像的制作，方便后期应用扩展使用 构建说明 基于源码构建，需要的配置参数./configure --with-perl docker base 镜像 FROM debian:stretch-s 阅读全文

posted @ 2020-03-13 09:59 荣锋亮 阅读(276) 评论(0) 推荐(0) 编辑

postgresql_anonymizer 方便的数据脱敏扩展
摘要：postgresql_anonymizer 是一个灵活切强大的数据脱敏扩展，以下是一个简单的使用 环境准备 基于docker-compose 运行 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get u 阅读全文

posted @ 2020-03-11 08:45 荣锋亮 阅读(1671) 评论(0) 推荐(0) 编辑

pgspider jsonb_deep_sum 扩展docker 镜像以及简单试用
摘要：jsonb_deep_sum 是一个很强大的jsonb 聚合扩展，可以高效的对于json数据进行sum 以及add 处理 以下是pgspider 集成的docker 构建以及使用 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-03-10 22:38 荣锋亮 阅读(353) 评论(0) 推荐(0) 编辑

pgspider pgddl 扩展doker 镜像以及试用
摘要：pgddl 是一个灵活方便的提炼pg 的sql ddl，功能很强大，对于我们需要查看创建ddl 的是很方便的 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get in 阅读全文

posted @ 2020-03-10 22:33 荣锋亮 阅读(529) 评论(0) 推荐(0) 编辑

pgspider wal2json doker 镜像
摘要：wal2json 是一个很不错的pg wal逻辑复制解码json 输出创建，以下是一个集成pgspider 的docker 镜像，可以更好的集成到 数据分析中（最好的还是作为基础镜像集成到pgspider 中，作为一个标配组件） Dockerfile FROM dalongrong/pgspider 阅读全文

posted @ 2020-03-09 18:25 荣锋亮 阅读(463) 评论(0) 推荐(0) 编辑

pgspider Citus节点数据移动操作
摘要：前边有简单的说明过通过副本数以及修改元数据信息，移除节点保证citus 的可用性，以下是一个简单的 节点添加以及数据移动的说明 环境准备 节点需要开启逻辑复制，所以以前的基础镜像稍有调整,同时因为开启了安全认证同时使用了.pgpass docker 基础镜像 FROM dalongrong/pgsp 阅读全文

posted @ 2020-03-09 17:49 荣锋亮 阅读(649) 评论(0) 推荐(0) 编辑

pgspider Citu 副本以及节点移除简单学习
摘要：使用citus 使用副本配置对于灾备处理是比较重要的，以下是一个简单的学习 环境准备 使用docker-compose运行 docker-compose 文件 version: "3" services: graphql-engine: image: hasura/graphql-engine:v1 阅读全文

posted @ 2020-03-08 21:24 荣锋亮 阅读(992) 评论(0) 推荐(0) 编辑

pgspider Citus docker 镜像使用
摘要：以前有简单说明过pgspider 集成Citus的使用说明，但是使用上还是不太方便，所以进行了一些调整 原理说明 因为pgspider Citus docker 镜像参考自postgrres 的所以可以直接使用/docker-entrypoint-initdb.d 使用 docker-compose 阅读全文

posted @ 2020-03-08 20:00 荣锋亮 阅读(561) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示