随笔分类 -  数据同步

electric 基于pg 的现代应用的同步层框架
摘要：electric 是使用Elixir 开发的基于pg 的应用数据同步层中间件，electric 支持多种集成模式 支持模式 drivers 支持基于sqlite 的应用同步，包含了本地，移动端，以及后端 前端支持 包含了对于一些主流前端框架的支持 后端 对于各种后端框架的支持 对于evnet sou 阅读全文

posted @ 2023-12-18 09:51 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

bytewax python 流处理框架
摘要：bytewax python 流处理框架,支持批以及流处理，内部使用了timely-dataflow rust 库bytewax 支持的模式主要是多worker 以及多process 核心还是单机场景，暂时不支持多主机的集群模式，同时对于状态的存储以及recovery 使用了sqlite 说明 以前 阅读全文

posted @ 2023-10-22 08:26 荣锋亮 阅读(128) 评论(0) 推荐(0) 编辑

Oracle GoldenGate Free 安装
摘要：一些预备 安装了docker 网络可以连接容器仓库（oracle的） 包含oracle 账户 运行 拉取docker 镜像 docker pull container-registry.oracle.com/goldengate/goldengate-free:21.9.0.0-oracle 启动 阅读全文

posted @ 2023-05-03 10:50 荣锋亮 阅读(150) 评论(0) 推荐(0) 编辑

Oracle GoldenGate Free goldengate 的免费版
摘要：Oracle GoldenGate Free 是goldengate 的免费版，基于容器运行，包含了完整的goldengate 特性，但是也有有限制的 限制 oracle 数据库20G 大小 只能与GoldenGate free 实例交互 没有active data guard 以及xstream 阅读全文

posted @ 2023-05-03 10:18 荣锋亮 阅读(366) 评论(0) 推荐(0) 编辑

arroyo+redpanda 集成试用
摘要：arroyo 对于kafka 有着很不错的集成支持（目前版本可以说是优先支持的），使用原生kafka 是一个选择，但是部署以及管理感觉比较费事 以前简单介绍过redpanda，所以尝试下集成 环境准备 docker-compose 包含了redpandadata console，connect，以及 阅读全文

posted @ 2023-04-11 07:25 荣锋亮 阅读(291) 评论(0) 推荐(0) 编辑

arroyo 基于rust开发的流处理引擎
摘要：arroyo 基于rust开发的流处理引擎 包含的特性 sql 以及rust pipelines 可以直接每秒百万级别的事件 支持windows 以及joins 的状态处理 基于状态checkpointing 的支持容错以及恢复的pipelines 通过dataflow 模型的及时流处理 使用场景 阅读全文

posted @ 2023-04-10 13:51 荣锋亮 阅读(604) 评论(0) 推荐(0) 编辑

fastdfs 集群异常修复实践
摘要：实际上可能会有更好的技术方案，只是从目前系统玩法来法，以下是一个不错的对于业务系统影响最小的方法 原有参考架构设计 简单说明：很简单，nginx +fastdfs module+ fastdfs 集群的玩法，文件基于sdk 进行上传，主要的场景是图片服务（当然其他模式也是支持的） 故障问题 因为一台 阅读全文

posted @ 2021-11-13 15:06 荣锋亮 阅读(328) 评论(0) 推荐(0) 编辑

扩展gobackup支持minio以及定时配置
摘要：huacnlee/gobackup 是一个很不错的多数据库的备份工具，但是对于minio支持不太好（path 路径格式），同时也 不支持定时任务备份，所以基于cron 包支持定时任务处理 修改的代码 main.go 添加cron支持 { Name: "start", Flags: []cli.Fla 阅读全文

posted @ 2020-11-27 23:20 荣锋亮 阅读(400) 评论(0) 推荐(0) 编辑

drill 学习 一 drill 基本介绍
摘要：drill 是一个大数据sql 查询引擎（当然对于hdf也是支持写入的，我们的主要场景还是数据查询） drill 支持的数据格式 drill 支持的数据格式较多，以下是一个简单的说明 csv，tsv，psv或者其他任意用分隔符字段的数据（当然我们可以自己配置数据解析——通过存储插件配置选项） jso 阅读全文

posted @ 2020-10-02 09:02 荣锋亮 阅读(1268) 评论(0) 推荐(0) 编辑

几个方便处理wal log 的工具
摘要：整理几个用的比较多的wal log 工具 wal-e 基于python 开发的，功能还是比较强大的 wal-g 可以认为是wal-e 的升级版（基于golang 开发）更强大的是还支持mysql 以及mongo wal2json wal log 转换为json postgres-decoderbuf 阅读全文

posted @ 2020-03-26 09:12 荣锋亮 阅读(767) 评论(0) 推荐(0) 编辑

一些pg fdw 版本过低的一些解决方法
摘要：最近在学习，测试一些主流的基于pg fdw 的数据访问机制，发现好多对于pg 10 pg 11 。。。 等基本就不支持了。 好久没有更新了，但是老版本还是比较稳定的，以下是一些自己的思考，做一个简单的记录 使用新版本pg 的postgres fdw 集成旧版本的 这种方式会形成一个数据访问的层级结构 阅读全文

posted @ 2020-02-26 19:40 荣锋亮 阅读(496) 评论(0) 推荐(0) 编辑

wal2json java jdbc 试用
摘要：上边有介绍过使用命令行模式的wal2json扩展使用，以下是一个jdbc 集成的试用（pg jdbc 驱动天然支持复制） 环境准备 pg（包含wal2json扩展）docker-compose 文件 version: "3" services: mypg: image: dalongrong/wal 阅读全文

posted @ 2019-12-18 15:56 荣锋亮 阅读(1010) 评论(0) 推荐(0) 编辑

一些开源cdc框架以及工具
摘要：以下是一些cdc工具，没有包含商业软件的 zendesk maxwell 参考地址 https://github.com/zendesk/maxwell 功能 mysql 2 json 的kafaa 生产者 airbnb SpinalTap 参考地址 https://github.com/airbn 阅读全文

posted @ 2019-12-18 09:14 荣锋亮 阅读(5259) 评论(0) 推荐(1) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示