随笔分类 - 批处理

dagster开源数据资产可观测平台调度平台

摘要：dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性而且还可以支持dbt 处理参考架构说明 dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark 参考资料 https://dagster.io 阅读全文

posted @ 2022-10-06 09:51 荣锋亮阅读(921) 评论(0) 推荐(0) 编辑

redpanda kafka 兼容平台

摘要：redpanda 是基于c++ 开发kafka 协议兼容平台，不依赖zk，不依赖jvm，以及raft 进行复制以及选举处理支持的特性 kafka conect cloud store （企业版） stream 处理 rest proxy schema registry 自动性能优化原生prome 阅读全文

posted @ 2022-10-06 09:33 荣锋亮阅读(643) 评论(0) 推荐(0) 编辑

prefect 新的开源工作流管理系统

摘要：prefect 主要是用来进行数据的工作流管理系统，而且prefect 团队开源了核心工具，而且目前prefect 也提供了比较丰富的工具报（而且支持dremio。。。。）说明 prefect 是一个很不错的基于python 编写的调用工具，很值得学习下，而且dbt 官方也有介绍到参考资料 ht 阅读全文

posted @ 2021-08-09 00:01 荣锋亮阅读(1180) 评论(0) 推荐(0) 编辑

machine errgroup golang 方便并发编程包

摘要：machine 是借鉴了errgroup的一个golang 并发处理包，errgroup 的使用很简单，但是对于异常的处理只能包含一次结果，不能知道每次 gorroutine 的执行结果，同时machine也扩展了好多特性比较适合的场景 grpc streaming 服务 websocket 服阅读全文

posted @ 2020-12-19 18:06 荣锋亮阅读(283) 评论(0) 推荐(0) 编辑

hazelcast-jet docker 运行试用

摘要：上次有简单写过关于潜入模式的使用，以下是一个使用server 模式基于docker-compose 运行的demo hazelcast-jet 参考架构环境准备 docker-compose 包含了一个management （注意多实例管理需要license）同时添加了prometheus 支持阅读全文

posted @ 2020-07-15 20:16 荣锋亮阅读(496) 评论(0) 推荐(0) 编辑

hazelcast-jet 开源分布式流以及批处理框架

摘要：hazelcast-jet 是hazelcast 团队开源的分布式流以及批处理框架，相比一些其他流以及批处理框架来说，只需要依赖jar包（Siddhi 也是不错的选择）当然hazelcast-jet 同时支持流处理以及批处理，其他的一些stream 处理的平台（工具）streamsets，apac 阅读全文

posted @ 2020-07-15 15:21 荣锋亮阅读(2250) 评论(0) 推荐(0) 编辑

pgspider fetchq 扩展docker镜像

摘要：fetchq 是一个队列系统，以下是一个pgspider 扩展的构建 pgspider base 镜像添加了uuid 扩展 FROM debian:stretch-slim RUN apt-get update && apt-get install -y build-essential git l 阅读全文

posted @ 2020-06-28 21:33 荣锋亮阅读(524) 评论(0) 推荐(0) 编辑

circus 做为批处理的守护进程

摘要：circus 是集成了zeromq，使用python编写的一个进程以及socket 管理工具，使用circus 的进程管理，我们可以用来进行批任务的处理，同时又能保证任务的准确项目使用docker+ docker-compose 运行案例简单原理说明就是一个简单的worker 分了三个，通阅读全文

posted @ 2019-06-10 19:26 荣锋亮阅读(1005) 评论(0) 推荐(0) 编辑