mage-ai 替换airflow 的现代数据pipeline 平台
摘要：mage-ai 是一个可以替换airflow 的现代数据pipeline 平台 包含的特性 友好的开发体验 支持python，sql，r 语言 不以来DAG 的可开发模式 交互式代码 数据优先 基于云的协作 快速部署 扩展简单 提供可观测性 说明 官方提供来的demo 站点，可以方便的体验学习，目前
阅读全文
posted @ 2023-08-12 13:09
随笔分类 - pipeline
一些开源cdc框架以及工具
摘要：以下是一些cdc工具，没有包含商业软件的 zendesk maxwell 参考地址 https://github.com/zendesk/maxwell 功能 mysql 2 json 的kafaa 生产者 airbnb SpinalTap 参考地址 https://github.com/airbn
阅读全文
posted @ 2019-12-18 09:14
DBLog: A Generic Change-Data-Capture Framework
摘要：转自：https://medium.com/netflix-techblog/dblog-a-generic-change-data-capture-framework-69351fb9099b 期待2020年的开源版本 Overview Change-Data-Capture (CDC) allo
阅读全文
posted @ 2019-12-18 08:38
n8n 试用
摘要：前边有简单的介绍n8n,如果大家看了官方网站会有一个比较醒目的说明zapier以及tray.io的开源替代方案 以下是一个简单的试用 环境准备 docker-compose 文件 version: "3" services: n8n: image: n8nio/n8n ports: - "5678:
阅读全文
posted @ 2019-12-15 15:39
n8n 基于node 的流程自动化工具
摘要：n8n 是基于node开发的流程自动化工具，提供了可视化的操作，我们可以用来集成不同的服务。 目前已经提供了很多的服务集成组件，同时我们也可以方便的自己扩展，后边会进行一个系统的 学习，同时介绍下使用，以及功能 参考资料 https://n8n.io/ https://github.com/n8n-
阅读全文
posted @ 2019-12-15 15:12
pipelinewise 学习二 创建一个简单的pipeline
摘要：pipelinewise 提供了方便的创建简单pipeline的命令，可以简化pipeline 的创建，同时也可以帮我们学习 生成demo pipeline pipelinewise init --name pipelinewise_samples pipelinewise init --name
阅读全文
posted @ 2019-09-17 13:15
pipelinewise 学习一 docker方式安装
摘要：pipelinewise 没有提供基于pip 包的模式进行安装，而且推荐使用docker 以及源码的方式 以下是一个使用docker运行的方式 安装 git clone https://github.com/transferwise/pipelinewise.git cd ./pipelinewis
阅读全文
posted @ 2019-09-17 10:57
PipelineWise illustrates the power of Singer
摘要：转自：https://www.stitchdata.com/blog/pipelinewise-singer/ 转自：https://www.stitchdata.com/blog/pipelinewise-singer/ Stitch is based on Singer, an open sou
阅读全文
posted @ 2019-09-17 09:09
pipelinewise 基于singer 指南的的数据pipeline 工具
摘要：pipelinewise 是基于开源singer 指南开发的数据pipeline工具，与singer tap 以及target 兼容 支持的特性 内置的elt 特性 轻量级 支持多种复制方法，cdc（基于log 的）基于key 的增量模式，全量 管理schema的变动 加载时的数据转换（可以方便进行
阅读全文
posted @ 2019-09-17 09:03
benthos v1 的一些新功能
摘要：主要从视频文件截取，暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明 部分processor github 上已经有文档了，但是
阅读全文
posted @ 2019-01-10 09:20
openresty 集成lua-resty-mail +smtp2http 扩展灵活的mail 服务
摘要：lua-resty-mail 是一个不错的openresty mail 扩展，我们可以用来进行邮件发送，支持附件功能 smtp2http 是一个smtp 服务，可以将smtp 请求数据转换为http rest 请求，这个在我们的实际应用 中还是很方便的，比如需要mail 服务，但是我们需要进行一些灵
阅读全文
posted @ 2019-01-04 09:10
memsql kafka集成
摘要：memsql 可以加载s3，文件系统，kafka、hdfs 系统的数据，测试使用kafka 环境使用 docker-compose 运行,新版本的需要申请license，参考链接： https://www.cnblogs.com/rongfengliang/p/9922041.html 环境准备 d
阅读全文
posted @ 2018-12-24 09:47
gaia 开源多语言的pipeline 平台
摘要：gaia 是一个支持goalng、java、c++、python，nodejs （还在开发中）的pipeline 平台，我们可以方便的进行pipeline构建的 添加，同时也可以做为sdk 在我们的项目中使用 环境准备 使用了完整的支持镜像，有点大，下载需要等待 docker-cmopose ver
阅读全文
posted @ 2018-12-23 10:21
Benthos metrcis 说明
摘要：Benthos 按照input， pipeline ，buffer，conditions，ouput 这个几个大类，为我们提供了 方便的分析metrics，支持json 格式同时可以暴露为 statsd、prometheus 格式的数据metrics 当前的metrics 如下： Input inp
阅读全文
posted @ 2018-12-17 14:21
memsql 6.7集群安装
摘要：预备环境处理 安装yum 源 yum install -y yum-utils yum-config-manager --add-repo https://release.memsql.com/production/rpm/x86_64/repodata/memsql.repo 配置免秘钥登录 创建
阅读全文
posted @ 2018-11-07 13:29
streamsets 3.5 的一些新功能
摘要：streamsets 3.5 有了一些新的特性以及增强，总之是越来越方便了，详细的可以 查看官方说明，以下简单例举一些比较有意义的。 origins 新的pulsar 消费origin jdbc 多表消费者以及jdbc 查询消费者功能增强 salesforce 组件增强 websocket 组件增强
阅读全文
posted @ 2018-10-23 09:15
hasura graphql server event trigger 试用
摘要：hasura graphql server 是一个很不错的graphql 引擎，当前版本已经支持event triiger 了 使用此功能我们可以方便的集成webhook功能，实现灵活，稳定，快捷的消息驱动的应用 webhook 使用benthos ，简单例子参考 https://www.cnblo
阅读全文
posted @ 2018-09-06 23:06
benthos stream nats 集成试用
摘要：测试demo 来自官方例子 使用docker-compose 进行运行 nats docker-compose file version: '3.3' services: nats: image: nats ports: - "4222:4222" - "8222:8222" - "6222:622
阅读全文
posted @ 2018-09-01 12:07
benthos stream 处理工具说明
摘要：benthos 是golang 编写的流处理工具，同时也可以作为一个类库使用,当前支持的source sink 还是比较全的 （kafka rabbitmq http service s3 redis mqtt nats nsq websocket） 核心组件 包含的核心组件 inputs（输入）
阅读全文
posted @ 2018-09-01 10:29
streamsets 集成 rabbitmq 以及benthos stream 处理框架
摘要：benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。） 使用docker-compose 运行 服务配置 docker-compose 文件 version:
阅读全文
posted @ 2018-08-31 15:37
