rongfengliang-荣锋亮

摘要： Data Collector Edge 是不包含界面的agent 安装 下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc 阅读全文

摘要： 以前官方提供的ansible 的脚本，现在有了docker的版本，可以方便测试使用 实际完整配置参考 https://github.com/rongfengliang/prisma-tidb 安装tidb clone 代码 git clone https://github.com/pingcap/t 阅读全文

摘要： 执行程序阶段在收到事件时触发任务。执行者不会写入或存储事件。 将执行程序用作事件流中数据流触发器的一部分，以执行事件驱动的与管道相关的任务，例如在目标关闭时移动完全写入的文件。 可以使用的executors Amazon S3 - Creates new Amazon S3 objects for 阅读全文

摘要： geoip 分析对于网站数据分析是很方便的 安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p 阅读全文

摘要： stream selector 就是一个选择器，可以方便的对于不同record 的数据进行区分，并执行不同的处理 pipeline flow stream selector 配置 local fs 配置 主要是进行数据的存储 运行效果 dev 数据 效果 参考资料 https://streamset 阅读全文

摘要： 测试集成了directory（excel） 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

摘要： 测试集成了directory（excel） 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

摘要： streamsets 有一个directory的origin 可以方便的进行文件的处理，支持的格式也比较多，使用简单 pipeline flow 配置 excel 数据copy 因为使用的是容器，会有数据copy 容器的一步 因为使用的是容器，会有数据copy 容器的一步 容器id 结合实际查询： 阅读全文

摘要： Processors 表示对于一种数据操作处理，在pipeline中可以应用多个Processors， 同时根据不同的执行模式，可以分为独立模式的，集群模式、边缘模式（agent），以及 帮助测试的测试Processors 独立pipelineonly Record Deduplicator - R 阅读全文