随笔分类 -  streamsets

1 2 下一页

streamsets http client 请求过大问题
摘要：http 请求body 过大问题 现象 com.streamsets.pipeline.api.ext.io.OverrunException: Reader exceeded the read limit '1048576' 解决 in version 2.6 and before - add t 阅读全文

posted @ 2021-04-17 22:07 荣锋亮 阅读(548) 评论(0) 推荐(0) 编辑

streamset data collector 新注册机制
摘要：streamset data collector 从3.15x开始下载是需要注册的，但是可以无限使用，这个还是很不错（主要还是因为云模式影响的）默认的登陆默认应该很早就有些变动了，默认会使用oauth，但是我们可以配置基于ldap以及file 的，但是还是需要注册码的 配置参考 https://st 阅读全文

posted @ 2021-03-09 23:06 荣锋亮 阅读(1821) 评论(0) 推荐(0) 编辑

streamsets 测试框架说明
摘要：streamsets 团队为了方便进行sdc以及sdh 的测试基于streamsets python sdk 开发了 streamsets Test Framework 安装 注意python 3.7 有问题，建议3.6 可以通过pyenv 安装需要的python 版本 pip install st 阅读全文

posted @ 2019-11-30 15:48 荣锋亮 阅读(1132) 评论(0) 推荐(0) 编辑

streamsets 源码构建
摘要：依赖构建工具 git 1.9+ oracle jdk 8 docker 1.10+ maven 3.3.9+ nodejs npm grunt-cli md5sum git 1.9+ oracle jdk 8 docker 1.10+ maven 3.3.9+ nodejs npm grunt-cl 阅读全文

posted @ 2019-11-30 11:42 荣锋亮 阅读(2112) 评论(5) 推荐(0) 编辑

streamsets 官方默认镜像中文支持问题
摘要：以前在测试streamsets 的时候就发现中文乱码，后边也每太注意，以为支持问题，今天跑了下单元 测试代码，以及使用本机运行，发现都没有问题，然后运行以前的配置，使用jjs 发现模式的编码为 ANSI_X3.4-1968 原有环境准备 version: "3" services: sets: im 阅读全文

posted @ 2019-11-29 23:20 荣锋亮 阅读(2273) 评论(0) 推荐(0) 编辑

streamsets 3.5 的一些新功能
摘要：streamsets 3.5 有了一些新的特性以及增强，总之是越来越方便了，详细的可以 查看官方说明，以下简单例举一些比较有意义的。 origins 新的pulsar 消费origin jdbc 多表消费者以及jdbc 查询消费者功能增强 salesforce 组件增强 websocket 组件增强 阅读全文

posted @ 2018-10-23 09:15 荣锋亮 阅读(564) 评论(0) 推荐(0) 编辑

benthos stream 处理工具说明
摘要：benthos 是golang 编写的流处理工具，同时也可以作为一个类库使用,当前支持的source sink 还是比较全的 （kafka rabbitmq http service s3 redis mqtt nats nsq websocket） 核心组件 包含的核心组件 inputs（输入） 阅读全文

posted @ 2018-09-01 10:29 荣锋亮 阅读(1132) 评论(0) 推荐(0) 编辑

streamsets 集成 rabbitmq 以及benthos stream 处理框架
摘要：benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。） 使用docker-compose 运行 服务配置 docker-compose 文件 version: 阅读全文

posted @ 2018-08-31 15:37 荣锋亮 阅读(1921) 评论(0) 推荐(0) 编辑

streamsets 集成 minio s3测试
摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate 阅读全文

posted @ 2018-08-23 16:49 荣锋亮 阅读(687) 评论(0) 推荐(0) 编辑

streamsets 集成 cratedb 测试
摘要：我们可以集成crate 到streamsets 中可以实现强大的数据导入，数据分析能力。 演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services 阅读全文

posted @ 2018-08-23 14:51 荣锋亮 阅读(1001) 评论(0) 推荐(0) 编辑

streamsets k8s 部署试用
摘要：使用k8s 进行 streamsets的部署（没有使用持久化存储） k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace: 阅读全文

posted @ 2018-08-23 11:36 荣锋亮 阅读(803) 评论(0) 推荐(0) 编辑

streamsets rest api 转换 graphql
摘要：原理很简单，就是使用swagger api 生成schema 然后代理请求处理api 调用 参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: { 阅读全文

posted @ 2018-08-22 19:13 荣锋亮 阅读(1405) 评论(0) 推荐(0) 编辑

StreamSets sdc rpc 测试
摘要：一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置 运行效果 数据发送方 数据接收方 参考资料 h 阅读全文

posted @ 2018-08-22 10:51 荣锋亮 阅读(485) 评论(0) 推荐(0) 编辑

StreamSets 相关文章
摘要：相关streamsets 文章（不按顺序） 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st 阅读全文

posted @ 2018-08-22 10:33 荣锋亮 阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 多线程 Pipelines
摘要：以下为官方文档： Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline 阅读全文

posted @ 2018-08-22 10:31 荣锋亮 阅读(1007) 评论(0) 推荐(0) 编辑

StreamSets SDC RPC Pipelines说明
摘要：主要目的是进行跨pipeline 数据的通信，而不仅仅是内部pipeline 的通信，之间不同网络进行通信 一个参考图 pipeline 类型 origin destination 部署架构 使用多个destination 保证可靠性，参考下图 如果数据是相似的，可以实现负载均衡以及冗余，参考下图 阅读全文

posted @ 2018-08-22 10:24 荣锋亮 阅读(1381) 评论(0) 推荐(0) 编辑

StreamSets 管理 SDC Edge上的pipeline
摘要：可选的方式： ui （data colelctor） 发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置 默认是 http://localhost:18633 发送命令 启动时 格式如下： bin/edge -start=<pipelineID> -run 阅读全文

posted @ 2018-08-22 10:05 荣锋亮 阅读(462) 评论(0) 推荐(0) 编辑

StreamSets 部署 Pipelines 到 SDC Edge
摘要：可以使用如下方法： 下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址（主要需要网络可访问） 导出edge pipeline 配置，并移动到edge 设备 直接发布pipeline 可以通过u 阅读全文

posted @ 2018-08-22 09:54 荣锋亮 阅读(522) 评论(0) 推荐(0) 编辑

StreamSets 设计Edge pipeline
摘要：edge pipeline 运行在edge 执行模式，我们可以使用 data collector UI 进行edge pipeline 设计， 设计完成之后，你可以部署对应的pipeline到edge 设备 可以设计的edge pipeline edge 发送pipeline edge 发送pipe 阅读全文

posted @ 2018-08-22 09:22 荣锋亮 阅读(641) 评论(0) 推荐(0) 编辑

StreamSets Data Collector Edge 说明
摘要：Data Collector Edge 是不包含界面的agent 安装 下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc 阅读全文

posted @ 2018-08-21 22:52 荣锋亮 阅读(2056) 评论(0) 推荐(0) 编辑

1 2 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示