随笔分类 -  流式计算

1 2 下一页

redpanda kafka 兼容平台
摘要：redpanda 是基于c++ 开发kafka 协议兼容平台，不依赖zk，不依赖jvm，以及raft 进行复制以及选举处理 支持的特性 kafka conect cloud store （企业版） stream 处理 rest proxy schema registry 自动性能优化 原生prome 阅读全文

posted @ 2022-10-06 09:33 荣锋亮 阅读(641) 评论(0) 推荐(0) 编辑

streamsets tar 模式启动
摘要：参考步骤 下载 下载需要注册账户,注册就可以了 配置 基于3.21 解压软件包 tar xf streamsets-datacollector-all-3.21.0.tgz -C /opt/streamsets-datacollector 复制 service cp systemd/sdc.serv 阅读全文

posted @ 2021-03-12 22:58 荣锋亮 阅读(259) 评论(0) 推荐(0) 编辑

vector 高性能可视化数据pipeline 平台
摘要：vector 是基于rust 编写的高性能，数据可视化平台，支持数据的聚合以及可视化 支持数据的collect，transform，route，支持logs，metrics，trace 一张参考图 参考部署模型 说明 vector 还是很轻量的，而且支持的集成模式也是很多的,同时包含了丰富的数据转换 阅读全文

posted @ 2021-01-07 18:53 荣锋亮 阅读(1833) 评论(0) 推荐(0) 编辑

materialize 参考架构
摘要：materialize 包含了materialized 服务，用来处理sql 交互以及sources 参考图 materialize内部结构 参考说明 从以上图我们至少可以了解下materialize的工具机制 参考资料 https://materialize.io/docs/overview/ar 阅读全文

posted @ 2020-11-01 12:38 荣锋亮 阅读(371) 评论(0) 推荐(0) 编辑

apache ignite docker集群运行试用
摘要：apache ignite 是一个很不错的内存计算平台 常见参考使用场景 应用缓存加速 数据集成hub 基于容器的集群环境部署 环境准备 说明为了方便基于静态ip发现的模式进行集群的搭建，关于静态ip配置，核心如下 <bean class="org.apache.ignite.spi.discove 阅读全文

posted @ 2020-10-14 19:18 荣锋亮 阅读(964) 评论(0) 推荐(0) 编辑

hazelcast-jet docker 运行试用
摘要：上次有简单写过关于潜入模式的使用，以下是一个使用server 模式基于docker-compose 运行的demo hazelcast-jet 参考架构 环境准备 docker-compose 包含了一个management （注意多实例管理需要license）同时添加了prometheus 支持 阅读全文

posted @ 2020-07-15 20:16 荣锋亮 阅读(490) 评论(0) 推荐(0) 编辑

hazelcast-jet 开源分布式流以及批处理框架
摘要：hazelcast-jet 是hazelcast 团队开源的分布式流以及批处理框架，相比一些其他流以及批处理框架来说，只需要依赖jar包（Siddhi 也是不错的选择） 当然hazelcast-jet 同时支持流处理以及批处理，其他的一些stream 处理的平台（工具）streamsets，apac 阅读全文

posted @ 2020-07-15 15:21 荣锋亮 阅读(2244) 评论(0) 推荐(0) 编辑

wal2json java jdbc 试用
摘要：上边有介绍过使用命令行模式的wal2json扩展使用，以下是一个jdbc 集成的试用（pg jdbc 驱动天然支持复制） 环境准备 pg（包含wal2json扩展）docker-compose 文件 version: "3" services: mypg: image: dalongrong/wal 阅读全文

posted @ 2019-12-18 15:56 荣锋亮 阅读(1008) 评论(0) 推荐(0) 编辑

n8n 基于node 的流程自动化工具
摘要：n8n 是基于node开发的流程自动化工具，提供了可视化的操作，我们可以用来集成不同的服务。 目前已经提供了很多的服务集成组件，同时我们也可以方便的自己扩展，后边会进行一个系统的 学习，同时介绍下使用，以及功能 参考资料 https://n8n.io/ https://github.com/n8n- 阅读全文

posted @ 2019-12-15 15:12 荣锋亮 阅读(2407) 评论(0) 推荐(0) 编辑

streamsets 源码构建
摘要：依赖构建工具 git 1.9+ oracle jdk 8 docker 1.10+ maven 3.3.9+ nodejs npm grunt-cli md5sum git 1.9+ oracle jdk 8 docker 1.10+ maven 3.3.9+ nodejs npm grunt-cl 阅读全文

posted @ 2019-11-30 11:42 荣锋亮 阅读(2112) 评论(5) 推荐(0) 编辑

streamsets 官方默认镜像中文支持问题
摘要：以前在测试streamsets 的时候就发现中文乱码，后边也每太注意，以为支持问题，今天跑了下单元 测试代码，以及使用本机运行，发现都没有问题，然后运行以前的配置，使用jjs 发现模式的编码为 ANSI_X3.4-1968 原有环境准备 version: "3" services: sets: im 阅读全文

posted @ 2019-11-29 23:20 荣锋亮 阅读(2273) 评论(0) 推荐(0) 编辑

Netflix-mantis 实时数据流开发平台
摘要：mantis 是netflix 开源的已经在netflix 使用了多年的实时流处理平台，目前从官方文档的介绍，在netflix使用场景很多 使用场景 上下文报警 监控netflix 的微服务 异常追踪 方便sre 分析问题 cassandra 以及elastic search 运行监控监视 日志报警 阅读全文

posted @ 2019-10-24 16:53 荣锋亮 阅读(1077) 评论(0) 推荐(0) 编辑

apache pinot-docker-compose 运行试用
摘要：apache pinot 是一个实时的OLAP 数据存储，同时包含了自己的查询语言，因为maven 构建花费时间较大 所以使用docker-compose 运行 docker-compose 文件 version: "3.7" services: app: image: winedepot/pino 阅读全文

posted @ 2019-08-08 20:27 荣锋亮 阅读(749) 评论(0) 推荐(0) 编辑

debezium mongodb 集成测试
摘要：debezium 是一个方便的cdc connector 可以帮助我们解决好多数据实时变更处理、数据分析、微服务的数据通信 从上次跑简单demo到现在，这个工具是有好多的变更，添加了好多方便的功能，支持了越来越多的数据库。 demo 使用了官方提供的docker-compose 文件 环境准备 do 阅读全文

posted @ 2018-12-25 20:26 荣锋亮 阅读(3165) 评论(0) 推荐(0) 编辑

memsql kafka集成
摘要：memsql 可以加载s3，文件系统，kafka、hdfs 系统的数据，测试使用kafka 环境使用 docker-compose 运行,新版本的需要申请license，参考链接： https://www.cnblogs.com/rongfengliang/p/9922041.html 环境准备 d 阅读全文

posted @ 2018-12-24 09:47 荣锋亮 阅读(766) 评论(0) 推荐(0) 编辑

Stream processing with Apache Flink and Minio
摘要：转自：https://blog.minio.io/stream-processing-with-apache-flink-and-minio-10da85590787 Modern technology trends like Machine Learning, Deep Learning, Art 阅读全文

posted @ 2018-11-28 08:36 荣锋亮 阅读(1268) 评论(0) 推荐(0) 编辑

hasura-graphql 集成 pipelinedb 1.0.0
摘要：pipelinedb 1.0.0 已经是一个标准的pg 扩展了，同时以前的语法也有变动，但是集成进hasura-graphql 更方便了 使用docker-compose 运行 环境准备 docker-compose 文件 version: "3" services: db: image: dalo 阅读全文

posted @ 2018-10-26 12:43 荣锋亮 阅读(363) 评论(0) 推荐(0) 编辑

streamsets 集成 rabbitmq 以及benthos stream 处理框架
摘要：benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。） 使用docker-compose 运行 服务配置 docker-compose 文件 version: 阅读全文

posted @ 2018-08-31 15:37 荣锋亮 阅读(1921) 评论(0) 推荐(0) 编辑

apache flink docker-compose 运行试用
摘要：apache 是一个流处理框架，官方提供了docker 镜像，同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1" services: jobmanager: image: flink expose: - "6123" por 阅读全文

posted @ 2018-08-29 10:21 荣锋亮 阅读(3863) 评论(0) 推荐(0) 编辑

streamsets docker 安装试用
摘要：docker 安装 docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector 简单demo 登陆 账户 admin admin 账户 admin admin 登陆完成 阅读全文

posted @ 2018-08-19 00:37 荣锋亮 阅读(1303) 评论(0) 推荐(0) 编辑

1 2 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示