随笔分类 -  pgspider

pg extension
pgspider 3.1.0 发布
摘要:从最近一段时间pgspider 迭代速度似乎是很快 新版本支持的特性 数据迁移 支持本地表,外表等的迁移 路由添加 并行存储函数 支持批量insert 的表修改 不少开发的fdw 的更新 说明 pgspider 最近的迭代速度的确是快了不少,一些新功能也是值得试用的 参考资料 https://git 阅读全文

posted @ 2023-10-19 09:18 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑

pgspider v0.20 之后的一些变动
摘要:很久没太关注pgspider ,发现v0.20 之后不像以前版本那样了(patch 模式),v0.20 之后 包含了自己的一个pg 分支,同时端口进行了一些调整(pgspider 自己的进程名称以及端口) 支持的特性 多租户 支持数据的修改 并行处理 pushdown 参考资料 https://gi 阅读全文

posted @ 2023-02-19 12:35 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

pgspider 发布v0.3.0 了
摘要:很久没太关注pgspid了,就在最近发布了v0.3.0 不少bug fix 新特性 支持pg 15.0 支持多租户表的修改 支持multi tenant 命令 添加性能评估函数 支持 join where美剧和以及order by limit offset 等的查询下推 说明 同时官方也对于开源的不 阅读全文

posted @ 2023-02-19 11:51 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

mysql_fdw 集成go-mysql-server 开发的mysql server
摘要:早期go-mysql-server golang 包对于mysql 的支持有限,但是dolthub团队扩展之后我们可以集成了 以下是一个简单的demo测试 环境准备 docker-compose mysql_fdw 环境 version: "3" services: pg: image: dalon 阅读全文

posted @ 2020-11-22 20:57 荣锋亮 阅读(328) 评论(0) 推荐(0) 编辑

jdbc连接池工具与pg fdw连接的问题 二
摘要:上次有简单介绍过关于pg fdw 对于使用连接池故障的问题,经过几天的调试以及摸索 ,印证了上次说的关于 sql 预编译处理的,目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重,会造成db 异常 ,然后自动恢复, 同时会造成连接异常,如果还需要使用连接池比较推荐使用hikari,需要我们 阅读全文

posted @ 2020-10-15 20:29 荣锋亮 阅读(333) 评论(0) 推荐(0) 编辑

tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md
摘要:属于一个常见问题,解决方法还是查看日志,可以配置的参数 配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志,进行问 阅读全文

posted @ 2020-10-12 22:25 荣锋亮 阅读(544) 评论(0) 推荐(0) 编辑

pgspider fetchq 扩展docker镜像
摘要:fetchq 是一个队列系统,以下是一个pgspider 扩展的构建 pgspider base 镜像 添加了uuid 扩展 FROM debian:stretch-slim RUN apt-get update && apt-get install -y build-essential git l 阅读全文

posted @ 2020-06-28 21:33 荣锋亮 阅读(522) 评论(0) 推荐(0) 编辑

pgspider timescale+citus 扩展docker 镜像
摘要:就是一个简单的docker 镜像,后边尝试如何集成 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cmake automake gcc a 阅读全文

posted @ 2020-03-14 10:24 荣锋亮 阅读(605) 评论(0) 推荐(0) 编辑

pgspider timescale 扩展docker 镜像
摘要:timescale 是我比较喜欢的一个pg 扩展,对于时序数据的处理很强大,以下是docker 镜像的制作 老样子基于基础镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && 阅读全文

posted @ 2020-03-14 10:08 荣锋亮 阅读(520) 评论(0) 推荐(0) 编辑

pgspider perl 语言扩展
摘要:perl 也算是一个小语言,但是功能很强大,以下是pgspider 集成perl的试用 以及docker基础镜像的制作,方便后期应用扩展使用 构建说明 基于源码构建,需要的配置参数./configure --with-perl docker base 镜像 FROM debian:stretch-s 阅读全文

posted @ 2020-03-13 09:59 荣锋亮 阅读(270) 评论(0) 推荐(0) 编辑

postgresql_anonymizer 方便的数据脱敏扩展
摘要:postgresql_anonymizer 是一个灵活切强大的数据脱敏扩展,以下是一个简单的使用 环境准备 基于docker-compose 运行 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get u 阅读全文

posted @ 2020-03-11 08:45 荣锋亮 阅读(1648) 评论(0) 推荐(0) 编辑

pgspider jsonb_deep_sum 扩展docker 镜像以及简单试用
摘要:jsonb_deep_sum 是一个很强大的jsonb 聚合扩展,可以高效的对于json数据进行sum 以及add 处理 以下是pgspider 集成的docker 构建以及使用 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-03-10 22:38 荣锋亮 阅读(350) 评论(0) 推荐(0) 编辑

pgspider pgddl 扩展doker 镜像以及试用
摘要:pgddl 是一个灵活方便的提炼pg 的sql ddl,功能很强大,对于我们需要查看创建ddl 的是很方便的 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get in 阅读全文

posted @ 2020-03-10 22:33 荣锋亮 阅读(525) 评论(0) 推荐(0) 编辑

pgspider wal2json doker 镜像
摘要:wal2json 是一个很不错的pg wal逻辑复制解码json 输出创建,以下是一个集成pgspider 的docker 镜像,可以更好的集成到 数据分析中(最好的还是作为基础镜像集成到pgspider 中,作为一个标配组件) Dockerfile FROM dalongrong/pgspider 阅读全文

posted @ 2020-03-09 18:25 荣锋亮 阅读(460) 评论(0) 推荐(0) 编辑

pgspider Citus节点数据移动操作
摘要:前边有简单的说明过通过副本数以及修改元数据信息,移除节点保证citus 的可用性,以下是一个简单的 节点添加以及数据移动的说明 环境准备 节点需要开启逻辑复制,所以以前的基础镜像稍有调整,同时因为开启了安全认证同时使用了.pgpass docker 基础镜像 FROM dalongrong/pgsp 阅读全文

posted @ 2020-03-09 17:49 荣锋亮 阅读(639) 评论(0) 推荐(0) 编辑

pgspider Citu 副本以及节点移除简单学习
摘要:使用citus 使用副本配置对于灾备处理是比较重要的,以下是一个简单的学习 环境准备 使用docker-compose运行 docker-compose 文件 version: "3" services: graphql-engine: image: hasura/graphql-engine:v1 阅读全文

posted @ 2020-03-08 21:24 荣锋亮 阅读(974) 评论(0) 推荐(0) 编辑

pgspider Citus docker 镜像使用
摘要:以前有简单说明过pgspider 集成Citus的使用说明,但是使用上还是不太方便,所以进行了一些调整 原理说明 因为pgspider Citus docker 镜像参考自postgrres 的所以可以直接使用/docker-entrypoint-initdb.d 使用 docker-compose 阅读全文

posted @ 2020-03-08 20:00 荣锋亮 阅读(560) 评论(0) 推荐(0) 编辑

cube.js 集成citus pg 扩展实现多租户的数据分析
摘要:citus 是一个强大的pg 扩展,我们可以方便的用来开发多租户的应用,同时cube.js 支持对于多租户的数据分析 cube.js 连接citus 这个不变,就是普通的pg 连接配置 cube.js 对于多租户的处理 我们可以通过添加查询转换处理,代码如下 比较适合schema 相同的数据模型 对 阅读全文

posted @ 2020-03-05 19:57 荣锋亮 阅读(399) 评论(0) 推荐(0) 编辑

hasura graphql-engine + pgspider citus 加强hasura的大数量graphql 处理能力
摘要:以前有写过比较简单的关于hasura graphql-engine 集成 citus的,以下是一个尝试,将pgspider 同时也集成起来 增强hasura graphql-engine 的大数据量以及多中数据源的并行处理能力 环境准备 pgspider citus 9.1 docker 镜像 FR 阅读全文

posted @ 2020-03-05 19:32 荣锋亮 阅读(383) 评论(0) 推荐(0) 编辑

pgspider Citus 集成使用
摘要:Citus 是一个很强大且成功的pg 扩展,以下是pgspider 集成Citus 的使用 docker镜像 FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cm 阅读全文

posted @ 2020-03-05 17:20 荣锋亮 阅读(629) 评论(0) 推荐(0) 编辑

导航