随笔分类 - kafka

embeddedkafka 方便测试的基于内存的kafka 实现

摘要：embeddedkafka 方便测试的基于内存的kafka 实现，可以用来方便的进行基于kafka 周边的测试目前embeddedkafka提供了stream，core，conenct 以及schema-registry，对于测试场景是一个不错的选择参考资料 https://github.com/ 阅读全文

posted @ 2023-09-19 13:42 荣锋亮阅读(95) 评论(0) 推荐(0) 编辑

arroyo+redpanda 集成试用

摘要：arroyo 对于kafka 有着很不错的集成支持（目前版本可以说是优先支持的），使用原生kafka 是一个选择，但是部署以及管理感觉比较费事以前简单介绍过redpanda，所以尝试下集成环境准备 docker-compose 包含了redpandadata console，connect，以及阅读全文

posted @ 2023-04-11 07:25 荣锋亮阅读(291) 评论(0) 推荐(0) 编辑

redpanda 试用

摘要：主要是体验下redpanda 环境准备 version: '3.7' services: redpanda: # NOTE: Please use the latest version here! image: docker.redpanda.com/vectorized/redpanda:v21. 阅读全文

posted @ 2022-10-06 11:13 荣锋亮阅读(304) 评论(0) 推荐(0) 编辑

redpanda kafka 兼容平台

摘要：redpanda 是基于c++ 开发kafka 协议兼容平台，不依赖zk，不依赖jvm，以及raft 进行复制以及选举处理支持的特性 kafka conect cloud store （企业版） stream 处理 rest proxy schema registry 自动性能优化原生prome 阅读全文

posted @ 2022-10-06 09:33 荣锋亮阅读(643) 评论(0) 推荐(0) 编辑

fast-data-dev 快速基于容器的kafka 环境

摘要：fast-data-dev 是由lensesio 团队提供的一个快速部署kafka 测试环境的工具包含的组件 kafka zk schema registry kafka connect 以及其他不少的connector 参考资料 https://github.com/lensesio/fast- 阅读全文

posted @ 2022-10-03 16:17 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

pgspider kafka fdw docker 镜像

摘要：kafka fdw的镜像还是比较好制作的，已经提供好了，相关的包，只需要构建就可以了。还是老样子，基于base 镜像 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-g 阅读全文

posted @ 2020-02-22 19:55 荣锋亮阅读(381) 评论(0) 推荐(0) 编辑

hermes 试用

摘要：hermes 是一个不错的基于kafaka 的event broker，基于push模型（webhook）测试环境使用docker-compose 运行环境准备 docker-compose version: '3' services: graphite: image: nickstenning 阅读全文

posted @ 2018-12-16 11:41 荣锋亮阅读(721) 评论(0) 推荐(0) 编辑

hermes kafka 转http rest api 的broker 工具

摘要：hermes 与nakadi 是类似的工具，但是设计模型有很大的差异，hermes 使用的是webhook的模式（push） nakadi 使用的是pull（event stream），各有自己解决的问题，但是从设计上nakadi更灵活参考架构图比较 nakadi： hermes：参考资料 ht 阅读全文

posted @ 2018-12-15 23:06 荣锋亮阅读(793) 评论(0) 推荐(0) 编辑

nakadi-ui nakadi event broker 的可视化UI工具

摘要：nakadi 是一款很不错的基于fafka 开发的event broker ，我们只需要使用http 请求就可以调用kafka 方便的发布订阅功能环境准备 docker-compose 文件 version: '3' services: nakadi-ui: image: nakadi/nakad 阅读全文

posted @ 2018-12-15 20:23 荣锋亮阅读(604) 评论(0) 推荐(0) 编辑

nakadi 一款基于kafka 的http event broker

摘要：nakadi 是zalando 开源的一款基于kafka 的event broker ，我们可以方便的使用http 协议进行操作支持一些特性： stream 操作，我们可以流的方式订阅event event 支持基于json schema 我们可以对于event 进行数据校验，方便的schema 阅读全文

posted @ 2018-12-12 22:37 荣锋亮阅读(883) 评论(0) 推荐(0) 编辑

kafka ksql && docker 安装试用

摘要：备注：使用docker 模式进行安装 1. 准备docker 环境（需要docker-compose） docker 的安装不需要进行多描述了,直接yum 或者源码编译也可以 2. 安装 kafa 以及ksql git clone git@github.com:confluentinc/ksql. 阅读全文

posted @ 2017-09-01 16:06 荣锋亮阅读(684) 评论(0) 推荐(0) 编辑