2018年8月22日

streamsets rest api 转换 graphql

摘要: 原理很简单,就是使用swagger api 生成schema 然后代理请求处理api 调用 参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: { 阅读全文

posted @ 2018-08-22 19:13 荣锋亮 阅读(1400) 评论(0) 推荐(0) 编辑

StreamSets sdc rpc 测试

摘要: 一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置 运行效果 数据发送方 数据接收方 参考资料 h 阅读全文

posted @ 2018-08-22 10:51 荣锋亮 阅读(483) 评论(0) 推荐(0) 编辑

StreamSets 相关文章

摘要: 相关streamsets 文章(不按顺序) 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st 阅读全文

posted @ 2018-08-22 10:33 荣锋亮 阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 多线程 Pipelines

摘要: 以下为官方文档: Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline 阅读全文

posted @ 2018-08-22 10:31 荣锋亮 阅读(998) 评论(0) 推荐(0) 编辑

StreamSets SDC RPC Pipelines说明

摘要: 主要目的是进行跨pipeline 数据的通信,而不仅仅是内部pipeline 的通信,之间不同网络进行通信 一个参考图 pipeline 类型 origin destination 部署架构 使用多个destination 保证可靠性,参考下图 如果数据是相似的,可以实现负载均衡以及冗余,参考下图 阅读全文

posted @ 2018-08-22 10:24 荣锋亮 阅读(1369) 评论(0) 推荐(0) 编辑

StreamSets 管理 SDC Edge上的pipeline

摘要: 可选的方式: ui (data colelctor) 发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置 默认是 http://localhost:18633 发送命令 启动时 格式如下: bin/edge -start=<pipelineID> -run 阅读全文

posted @ 2018-08-22 10:05 荣锋亮 阅读(458) 评论(0) 推荐(0) 编辑

StreamSets 部署 Pipelines 到 SDC Edge

摘要: 可以使用如下方法: 下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址(主要需要网络可访问) 导出edge pipeline 配置,并移动到edge 设备 直接发布pipeline 可以通过u 阅读全文

posted @ 2018-08-22 09:54 荣锋亮 阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 设计Edge pipeline

摘要: edge pipeline 运行在edge 执行模式,我们可以使用 data collector UI 进行edge pipeline 设计, 设计完成之后,你可以部署对应的pipeline到edge 设备 可以设计的edge pipeline edge 发送pipeline edge 发送pipe 阅读全文

posted @ 2018-08-22 09:22 荣锋亮 阅读(633) 评论(0) 推荐(0) 编辑

导航