随笔分类 -  citus

citus 12.1 新特性
摘要:最近pg 16的发布了,citus 也比较快直接很快就支持16了,同时citus 也发布了12.1 版本以下是一些新特性 新特性 pg 16 支持以及比较多的pg 16 特新到citus 分布式表的支持 pg 16 load lalance 支持,实际上是从citus 合并到pg 的 pg json 阅读全文

posted @ 2023-09-30 15:18 荣锋亮 阅读(113) 评论(0) 推荐(0) 编辑

citus 12 新特性
摘要:就在最近citus 发布了12 版本 主要包含的新特性 基于schema 的分片(对于一些saas ,面向微服务以及垂直拆分场景比较有用) 基于租户的监控,核心还是对于schema 拆分场景的 merge 支持 基于磁盘大小的rebalance 说明 基于schema 的分片是一个很不错的功能,但是 阅读全文

posted @ 2023-07-30 17:51 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

citus 11.3 新特性
摘要:就在最近citus 11.3发布了,包含了不少新特性,CDC 是特别有意思的 新特性 租户级别的监控 非事物的元数据同步 分片并行均衡 merge 支持 提升处理标识列的处理 cdc 支持(很不错,但是也有不少限制) 说明 citus 11.3 的cdc 是一个很有意思的特性,还是值得研究学习下的 阅读全文

posted @ 2023-05-14 16:07 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

citus 11.2 更好的支持patroni 集群部署
摘要:citus 11.2 可以更好的支持基于patroni 的集群环境部署了,同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署,目前官方提供了类似的能力,可以省去我们不少时间 部署一些简单说明 参考 阅读全文

posted @ 2023-03-21 18:17 荣锋亮 阅读(296) 评论(0) 推荐(0) 编辑

orioledb 集成citus 测试
摘要:前边制作了一个简单的orioledb 集成citus 的docker 镜像dalongrong/orioledb:citus-11.0.5,以下是一个简单测试 环境准备 docker-compose 文件 version: '3' services: app: image: dalongrong/o 阅读全文

posted @ 2022-08-14 00:42 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

orioledb 集成 citus docker 镜像
摘要:主要打算集成orioledb以及citus,基于了citus 官方的docker 镜像,进行了简单的修改 参考修改 使用了alpine 基础镜像 FROM orioledb/orioledb ARG VERSION=11.0.5 LABEL maintainer="Citus Data https: 阅读全文

posted @ 2022-08-14 00:26 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

citus 11 的一些参考资料
摘要:citus 11 是一个完全开源的版本很值得使用学习,以下整理了一些资料可以参考 说明 资料中包含了不少关于10 版本的特性,基于此可以更好的了解citus 最近版本开源的能力 参考资料 https://www.citusdata.com/updates/v11-0/https://www.citu 阅读全文

posted @ 2022-06-18 23:39 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑

citus 11 参考简单使用
摘要:基于官当的docker-compose 模板简单测试下citus 11 的查询特性,对于负载lb 基于了haproxy 测试说明 使用docker-compose 进行worker 节点的扩容,注意是先准备好的,实际使用的时候会基于管理sql 添加节点的 环境准备 docker-compose 文件 阅读全文

posted @ 2022-06-18 23:26 荣锋亮 阅读(353) 评论(0) 推荐(0) 编辑

citus 11 发布了
摘要:citus 11 就在昨天ga 了,企业特性都开源了,以后可以高效无顾虑的使用citus ,官方博客发布的一片博客值得学习 核心部分 企业特性开源 任何节点可以查询分布式表 预览特性 分布式表的trigger 开源的企业核心特性 数据的重新分布使用了逻辑复制,避免了写入的阻塞 多用户支持(角色,授权 阅读全文

posted @ 2022-06-18 09:57 荣锋亮 阅读(133) 评论(0) 推荐(0) 编辑

citus vs greenplum 对比参考
摘要:主要引用了一篇别人写的文档,但是此文时间比较早了,因为这几年citus 提升是很大的,当然greenplum 也在提升后边可以自己压测下,同时自己在测试了citus 11.0 对于百万级别的表与千万级别的表join 聚合,可以实现很开的处理(400ms)原生pg 需要4s 左右 (目前表没有主键以及 阅读全文

posted @ 2022-05-10 20:11 荣锋亮 阅读(955) 评论(0) 推荐(0) 编辑

使用citus 列式存储压缩数据
摘要:实际上是一个实际问题,刚好结合问题说明下问题的一种解决方法 问题 注意是基于容器运行的 异常 ERROR: could not resize shared memory segment "/PostgreSQL.1345396376" to 4194304 bytes: No space left 阅读全文

posted @ 2022-05-10 20:00 荣锋亮 阅读(327) 评论(0) 推荐(0) 编辑

citus 以及timescaledb对于时许数据存储的处理
摘要:从专业程度来说timescaledb 处理时许数据更加方便强大,citus 可以基于pg的分区可以很好的支持时许数据处理 citus 操作流程 一般是创建分区表 参考 CREATE TABLE github_events ( event_id bigint, event_type text, eve 阅读全文

posted @ 2022-05-10 18:54 荣锋亮 阅读(509) 评论(0) 推荐(0) 编辑

citus ha 参考部署方案
摘要:参考图 注意此版本比较适合citus 11.0 以及以上的(但是11.0 暂时还没ga) 集成说明 因为citus 的coordinator、worker 都支持基于流式复制的,我们基于patroni 保证节点的高可用(推荐使用同步复制),为了规避业务使用的问题,我们可以基于haproxy + ke 阅读全文

posted @ 2022-05-08 22:23 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

citus 一些不错的资料
摘要:来自官方博客一些很不错的资料,很值得学习参考 说明 好久没太关注citus 了,通过查看这些内容,了解了不少citus开源的新特性,很值得使用 参考资料 https://www.citusdata.com/blog/2022/03/12/how-to-benchmark-performance-of 阅读全文

posted @ 2022-05-08 20:31 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

关于 citus ha 的一些说明
摘要:citus 是一个很不错的pg 集群方案,支持数据分片,多租户特性,11.0 之后支持schema 以及元数据的自动同步,更加方便了 citus ha 需要关注的东西 woker 节点 可以使用流式复制 协调节点 可以视同流式同步复制,当然也可以基于灾备工具的,因为元数据变动比较小,在11.0 之后 阅读全文

posted @ 2022-05-08 20:03 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

citus 11.0 beta 发布
摘要:citus 11.0 beta 包含了一个特别强大的特性,就是schema 以及元数据自动同步,可以让我们维护集群更加简单了 新玩法 11.0 之前的 问题很明显,协调节点会成为系统的瓶颈点 11.0 以及之后的 基于同步机制我们就可以更好的进行系统负载处理了 11.0 的负载均衡 包含了基于npg 阅读全文

posted @ 2022-05-08 19:38 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

pgspider timescale+citus 扩展docker 镜像
摘要:就是一个简单的docker 镜像,后边尝试如何集成 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cmake automake gcc a 阅读全文

posted @ 2020-03-14 10:24 荣锋亮 阅读(605) 评论(0) 推荐(0) 编辑

pgspider Citus节点数据移动操作
摘要:前边有简单的说明过通过副本数以及修改元数据信息,移除节点保证citus 的可用性,以下是一个简单的 节点添加以及数据移动的说明 环境准备 节点需要开启逻辑复制,所以以前的基础镜像稍有调整,同时因为开启了安全认证同时使用了.pgpass docker 基础镜像 FROM dalongrong/pgsp 阅读全文

posted @ 2020-03-09 17:49 荣锋亮 阅读(640) 评论(0) 推荐(0) 编辑

pgspider Citus worker 账户密码问题
摘要:在测试Citus关于安全配置的时候,没太多注意官方文档的说明,当时自己也认为通过.pgpass 可以解决worker 账户密码的问题的 但是测试的时候没太多注意权限的问题,发现测试没通,所以就认为不行,今天仔细查看了官方文档,发现是可以的 .pgpass配置说明 hostname:port:data 阅读全文

posted @ 2020-03-09 09:51 荣锋亮 阅读(501) 评论(0) 推荐(0) 编辑

pgspider Citu 副本以及节点移除简单学习
摘要:使用citus 使用副本配置对于灾备处理是比较重要的,以下是一个简单的学习 环境准备 使用docker-compose运行 docker-compose 文件 version: "3" services: graphql-engine: image: hasura/graphql-engine:v1 阅读全文

posted @ 2020-03-08 21:24 荣锋亮 阅读(976) 评论(0) 推荐(0) 编辑

导航