随笔分类 -  postgresql extension

1 2 3 4 5 ··· 8 下一页

通过plpython 扩展解决pg 调用c library 的问题
摘要：属于一个简单的业务问题，需要调用一个c 库，希望用sql 去处理，使用上就比较简单，不想自己遍历数据然后再调用c 库，因为系统使用的pg ，所以想着用pg 包装c 库为一个函数 解决方法 将c 库包装为一个独立的扩展，扩展集成了c 中的方法，然后就可以使用sql 处理了 通过plpython 扩展， 阅读全文

posted @ 2025-02-21 08:04 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

pg_parquet CrunchyData团队开源的pg parquet fdw
摘要：pg_parquet是CrunchyData 团队开源的pg paquet fdw，可以实现parquet 数据通过copy 命令到pg 表中，同时也支持将pg 表写入到parquet 文件中 一些使用场景 就是上边说的，写入或者读取parquet 数据 查看parquet 的元数据以及schema 阅读全文

posted @ 2024-12-11 08:00 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

pg_ivm pg 增量物化视图扩展
摘要：pg_ivm 是一个强大的pg 增量物化视图扩展，可以实现物化数据的自动更新（创建物化之后会创建一些触发器实现自动更新），当然也包含了函数可以支持手工更新 说明 pg_ivm 很强大，很方便，但是依然有一些限制，比如基表必须是简单表，不能使用视图，继承父表，分区表，分区以及外部表 视图定义查询中不能 阅读全文

posted @ 2024-11-05 08:00 荣锋亮 阅读(66) 评论(0) 推荐(0) 编辑

pgspider 3.1.0 发布
摘要：从最近一段时间pgspider 迭代速度似乎是很快 新版本支持的特性 数据迁移 支持本地表，外表等的迁移 路由添加 并行存储函数 支持批量insert 的表修改 不少开发的fdw 的更新 说明 pgspider 最近的迭代速度的确是快了不少，一些新功能也是值得试用的 参考资料 https://git 阅读全文

posted @ 2023-10-19 09:18 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

citus 12.1 新特性
摘要：最近pg 16的发布了，citus 也比较快直接很快就支持16了，同时citus 也发布了12.1 版本以下是一些新特性 新特性 pg 16 支持以及比较多的pg 16 特新到citus 分布式表的支持 pg 16 load lalance 支持，实际上是从citus 合并到pg 的 pg json 阅读全文

posted @ 2023-09-30 15:18 荣锋亮 阅读(139) 评论(0) 推荐(0) 编辑

citus 12 新特性
摘要：就在最近citus 发布了12 版本 主要包含的新特性 基于schema 的分片（对于一些saas ，面向微服务以及垂直拆分场景比较有用） 基于租户的监控，核心还是对于schema 拆分场景的 merge 支持 基于磁盘大小的rebalance 说明 基于schema 的分片是一个很不错的功能，但是 阅读全文

posted @ 2023-07-30 17:51 荣锋亮 阅读(226) 评论(0) 推荐(0) 编辑

postgresml 基于postgres 的ai 应用数据库
摘要：postgresml 基于postgres 的ai 应用数据库，我们可以基于sql 使用开源模型进行训练，实际上如果了解pg 的化pg 实际也有一个开源的madlib 也属于机器学习领域的不错选择 说明 如果测试使用的，注意postgresml docker 镜像很大，同时需要自己构建会比较慢，后边 阅读全文

posted @ 2023-06-11 22:42 荣锋亮 阅读(258) 评论(0) 推荐(0) 编辑

coredb 使用pg all-in-one 解决方案
摘要：coredb 认为可以使用pg 干任何事情，自己基于rust 开发了不少pg 的扩展，当然也包含了不少社区现有的扩展同时coredb 还开发了一个pg 扩展仓库（实际上以前社区也有一个） 说明 目前coredb 还在开发中，核心技术栈基于了rust，一些理念还是值得学习参考的 参考资料 https: 阅读全文

posted @ 2023-06-11 09:07 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

citus 11.3 新特性
摘要：就在最近citus 11.3发布了，包含了不少新特性，CDC 是特别有意思的 新特性 租户级别的监控 非事物的元数据同步 分片并行均衡 merge 支持 提升处理标识列的处理 cdc 支持（很不错，但是也有不少限制） 说明 citus 11.3 的cdc 是一个很有意思的特性，还是值得研究学习下的 阅读全文

posted @ 2023-05-14 16:07 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

neondatabase 开源的k8s postgres autoscaling 工具
摘要：autoscaling neondatabase 开源的pg 扩展工具(核心是解决neondatabase的一些问题)，但是设计上有不少值得学习参考的地方 参考架构 说明 autoscaling 设计上实现了自己的一个vm （支持在线迁移业务影响小）,实现了自己的scheduler，也算是一个不错的 阅读全文

posted @ 2023-04-05 23:36 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

citus 11.2 更好的支持patroni 集群部署
摘要：citus 11.2 可以更好的支持基于patroni 的集群环境部署了，同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署，目前官方提供了类似的能力，可以省去我们不少时间 部署一些简单说明 参考 阅读全文

posted @ 2023-03-21 18:17 荣锋亮 阅读(319) 评论(0) 推荐(0) 编辑

pgspider v0.20 之后的一些变动
摘要：很久没太关注pgspider ，发现v0.20 之后不像以前版本那样了（patch 模式），v0.20 之后 包含了自己的一个pg 分支，同时端口进行了一些调整（pgspider 自己的进程名称以及端口） 支持的特性 多租户 支持数据的修改 并行处理 pushdown 参考资料 https://gi 阅读全文

posted @ 2023-02-19 12:35 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

pgspider 发布v0.3.0 了
摘要：很久没太关注pgspid了，就在最近发布了v0.3.0 不少bug fix 新特性 支持pg 15.0 支持多租户表的修改 支持multi tenant 命令 添加性能评估函数 支持 join where美剧和以及order by limit offset 等的查询下推 说明 同时官方也对于开源的不 阅读全文

posted @ 2023-02-19 11:51 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

pg_graphql 1.0 发布了
摘要：pg_graphql是supabse 团队使用pgx 扩展开发的pg graphql 扩展，实际上官方的graphl 支持是演变了好几个版本的，学习下官方博客的演变还是很值得的看看如何进行设计 参考资料 https://supabase.com/blog/pg-graphql-v1https://g 阅读全文

posted @ 2022-12-25 19:08 荣锋亮 阅读(68) 评论(0) 推荐(0) 编辑

hydra snowflake 可选的olap postgres 数据库
摘要：hydra 是基于pg 开发的olap 数据库，官方的说法是snowflake 可选方案，属于一个HTAP 工作负载类型的数据库 支持向量化以及列式存储（当然部分还在开发中，还没实现） 支持的特性 托管pg 数据库 append-only 列存 外表 pg 调度 并行查询 where 条件向量化执行 阅读全文

posted @ 2022-12-18 22:54 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

orioledb 集成citus 测试
摘要：前边制作了一个简单的orioledb 集成citus 的docker 镜像dalongrong/orioledb:citus-11.0.5,以下是一个简单测试 环境准备 docker-compose 文件 version: '3' services: app: image: dalongrong/o 阅读全文

posted @ 2022-08-14 00:42 荣锋亮 阅读(66) 评论(0) 推荐(0) 编辑

orioledb 集成 citus docker 镜像
摘要：主要打算集成orioledb以及citus，基于了citus 官方的docker 镜像，进行了简单的修改 参考修改 使用了alpine 基础镜像 FROM orioledb/orioledb ARG VERSION=11.0.5 LABEL maintainer="Citus Data https: 阅读全文

posted @ 2022-08-14 00:26 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑

edgedb 2.0 发布了
摘要：edgedb 最近的提升还是很多的，就在7月低左右2.0 发布了 新特性 admin ui， 后边管理就更加方便了 edgesql 顶级 group 语法支持 对象级的安全控制 range 类型 官方rust client 库 说明 edgedb 易用性越来越好了，值得系统学习下了 参考资料 htt 阅读全文

posted @ 2022-08-13 23:32 荣锋亮 阅读(146) 评论(0) 推荐(0) 编辑

orioledb 对于top pg 问题的解决方法
摘要：内容来自官方ppt ，支持整理下，可以看出提升还是不少的 问题 解决方法 说明 官方那个ppt 很值得查看，从官方的压测报告来看，提升是不少的，期待ga，后边测试下与citus 集成的可能性,目前orioledb是从core 对于pg 进行了patch 处理，如果能到pg官方中就更好了，毕竟如果使用 阅读全文

posted @ 2022-08-13 22:30 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

orioledb pg 存储引擎
摘要：orioledb 是社区开发的一个新的pg 存储引擎，主要是为了解决现在pg 的一些问题，官方共享的一个ppt 还是值得学习的（以下链接中） 以下是一个简单的学习使用 orioledb 特性 支持现代硬件，orioledb 更加适合sdd 以及nvarm ，可以更好的解决cpu瓶颈问题 减少维护，o 阅读全文

posted @ 2022-08-13 18:50 荣锋亮 阅读(396) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 8 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示