随笔分类 -  stream

benthos stream nats 集成试用
摘要：测试demo 来自官方例子 使用docker-compose 进行运行 nats docker-compose file version: '3.3' services: nats: image: nats ports: - "4222:4222" - "8222:8222" - "6222:622 阅读全文

posted @ 2018-09-01 12:07 荣锋亮 阅读(638) 评论(0) 推荐(0) 编辑

benthos 几个方便的帮助命令
摘要：benthos 的命令行帮助做的是比较方便的，基本上就是一个自包含的帮助文档 全部命令 benthos --help 查询系统支持的caches benthos -list-caches 说明 使用帮助命令对于我们使用有很大的帮助 参考资料 https://github.com/Jeffail/be 阅读全文

posted @ 2018-09-01 11:04 荣锋亮 阅读(336) 评论(0) 推荐(0) 编辑

benthos 通过配置文件配置 stream 说明
摘要：stream 模式，我们也可以通过配置文件进行配置 参考配置文件 input: type: http_server buffer: type: memory pipeline: threads: 4 processors: - type: jmespath jmespath: query: "{id 阅读全文

posted @ 2018-09-01 10:55 荣锋亮 阅读(404) 评论(0) 推荐(0) 编辑

benthos 通过rest api 配置 stream 说明
摘要：stream 模式，我们可以通过rest api 进行控制 使用方法 启动 benthos --streams 进行流的配置（rest api） curl http://localhost:4195/streams/foo -X POST --data-binary @- <<EOF input: 阅读全文

posted @ 2018-09-01 10:54 荣锋亮 阅读(316) 评论(0) 推荐(0) 编辑

benthos stream 处理工具说明
摘要：benthos 是golang 编写的流处理工具，同时也可以作为一个类库使用,当前支持的source sink 还是比较全的 （kafka rabbitmq http service s3 redis mqtt nats nsq websocket） 核心组件 包含的核心组件 inputs（输入） 阅读全文

posted @ 2018-09-01 10:29 荣锋亮 阅读(1134) 评论(0) 推荐(0) 编辑

streamsets 集成 rabbitmq 以及benthos stream 处理框架
摘要：benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。） 使用docker-compose 运行 服务配置 docker-compose 文件 version: 阅读全文

posted @ 2018-08-31 15:37 荣锋亮 阅读(1924) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示