荣锋亮 - 博客园

benthos stream nats 集成试用

摘要：测试demo 来自官方例子使用docker-compose 进行运行 nats docker-compose file version: '3.3' services: nats: image: nats ports: - "4222:4222" - "8222:8222" - "6222:622 阅读全文

posted @ 2018-09-01 12:07 荣锋亮阅读(623) 评论(0) 推荐(0) 编辑

benthos 几个方便的帮助命令

摘要： benthos 的命令行帮助做的是比较方便的，基本上就是一个自包含的帮助文档全部命令 benthos --help 查询系统支持的caches benthos -list-caches 说明使用帮助命令对于我们使用有很大的帮助参考资料 https://github.com/Jeffail/be 阅读全文

posted @ 2018-09-01 11:04 荣锋亮阅读(331) 评论(0) 推荐(0) 编辑

benthos 通过配置文件配置 stream 说明

摘要： stream 模式，我们也可以通过配置文件进行配置参考配置文件 input: type: http_server buffer: type: memory pipeline: threads: 4 processors: - type: jmespath jmespath: query: "{id 阅读全文

posted @ 2018-09-01 10:55 荣锋亮阅读(393) 评论(0) 推荐(0) 编辑

benthos 通过rest api 配置 stream 说明

摘要： stream 模式，我们可以通过rest api 进行控制使用方法启动 benthos --streams 进行流的配置（rest api） curl http://localhost:4195/streams/foo -X POST --data-binary @- <<EOF input: 阅读全文

posted @ 2018-09-01 10:54 荣锋亮阅读(309) 评论(0) 推荐(0) 编辑

benthos stream 处理工具说明

摘要： benthos 是golang 编写的流处理工具，同时也可以作为一个类库使用,当前支持的source sink 还是比较全的（kafka rabbitmq http service s3 redis mqtt nats nsq websocket）核心组件包含的核心组件 inputs（输入）阅读全文

posted @ 2018-09-01 10:29 荣锋亮阅读(1105) 评论(0) 推荐(0) 编辑

openresty 使用cuid 类库生成短链接id

摘要： cuid 是一个不错的id 生成算发，类似的有shortid 、hashid 演示使用lua 包集成openresty 做测试使用docker-compose 运行 dockerfile FROM openresty/openresty:alpine-fat RUN apk add --no-ca 阅读全文

posted @ 2018-08-31 22:49 荣锋亮阅读(533) 评论(0) 推荐(0) 编辑

比jsonpath 更方便的json 数据查询JMESPath 使用

摘要：类似xml 的xpath json 有jsonpath 都是为了方便进行数据查询，但是jsonpath 的功能并不是很强大，如果为了方便查询可以使用jmespath。以下为简单使用：查询格式 search(<jmespath expr>, <JSON document>) -> <return 阅读全文

posted @ 2018-08-31 21:43 荣锋亮阅读(1091) 评论(0) 推荐(0) 编辑

streamsets 集成 rabbitmq 以及benthos stream 处理框架

摘要： benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。）使用docker-compose 运行服务配置 docker-compose 文件 version: 阅读全文

posted @ 2018-08-31 15:37 荣锋亮阅读(1909) 评论(0) 推荐(0) 编辑

All the Apache Streaming Projects: An Exploratory Guide

摘要： The speed at which data is generated, consumed, processed, and analyzed is increasing at an unbelievably rapid pace. Social media, the Internet of Thi 阅读全文

posted @ 2018-08-30 16:28 荣锋亮阅读(470) 评论(0) 推荐(0) 编辑

apache spark kubernets 部署试用

摘要： spark 是一个不错的平台，支持rdd 分析stream 机器学习。。。以下为使用kubernetes 部署的说明，以及注意的地方具体的容器镜像使用别人已经构建好的 deploy yaml 文件 deploy-k8s.yaml apiVersion: extensions/v1beta1 ki 阅读全文

posted @ 2018-08-30 15:12 荣锋亮阅读(882) 评论(1) 推荐(0) 编辑

apache flink kubernetes 运行试用

摘要：类似docker-compose 运行模式，使用的是deploy 的模式 deploy yaml 文件 deploy-k8s-yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: jobmanager namespa 阅读全文

posted @ 2018-08-29 13:43 荣锋亮阅读(2745) 评论(0) 推荐(0) 编辑

apache flink docker-compose 运行试用

摘要： apache 是一个流处理框架，官方提供了docker 镜像，同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1" services: jobmanager: image: flink expose: - "6123" por 阅读全文

posted @ 2018-08-29 10:21 荣锋亮阅读(3843) 评论(0) 推荐(0) 编辑

prisma 服务器端订阅试用

摘要： graphql 协议是支持数据的实时订阅功能的（一般基于websocket 进行实现） prisma 支持客户端订阅以及服务器端订阅（类似webhook），可以方便将数据推送后端服务目的 prisma 实现这个功能是方便集成当前的serverless 基础设施，当前支持的是通过webhook 的阅读全文

posted @ 2018-08-28 12:51 荣锋亮阅读(681) 评论(0) 推荐(0) 编辑

stardog 基本试用(社区版)

摘要： stardog 是一个知识图谱的实现，实现了sparql 以及graphql 协议，使用起来也比较简单，官方文档挺全下载社区版，注册之后会有邮件通知，里面会包含license 以及软件包下载地址 https://www.stardog.com/ 邮件内容运行邮件会有说明快速入门的文档，对于阅读全文

posted @ 2018-08-27 09:51 荣锋亮阅读(1186) 评论(0) 推荐(0) 编辑

pipelinedb 滑动窗口

摘要：滑动窗口可以方便的让我们进行一段时间的数据分析几个主要函数 clock_timestamp 内置的函数，总是返回当前的时间戳 arrival_timestamp 事件达到的时间单滑动窗口参考 CREATE CONTINUOUS VIEW recent_users WITH (sw = '1 m 阅读全文

posted @ 2018-08-26 22:48 荣锋亮阅读(262) 评论(0) 推荐(0) 编辑

pipelinedb Continuous transforms 操作

摘要： Continuous transforms 可以进行数据的转换，数据是不进行存储，主要是可以加入到其他的stream pipeline 中,或者写到其他外部存储中，和存储过程结合使用,当前默认内置一个pipeline_stream_insert方便数据写入其他strem 注意不支持聚合操作 doc 阅读全文

posted @ 2018-08-26 22:30 荣锋亮阅读(381) 评论(0) 推荐(0) 编辑

pipelinedb continuous view 操作

摘要： continuous view 是 pipelinedb的核心，类似一个view，但是数据是合并了stream以及table的数据输入数据，并且是实时根据输入数据进行更新的语法 CREATE CONTINUOUS VIEW name AS query query是一个pg 的select 格式的阅读全文

posted @ 2018-08-26 11:38 荣锋亮阅读(443) 评论(0) 推荐(0) 编辑

hasura graphql 集成pipelinedb测试

摘要：实际上因为pipelinedb 是原生支持pg的，所以应该不存在太大的问题，以下为测试使用doker-compose 运行配置 docker-compose 文件 version: '3.6' services: postgres: image: tkanos/pipelinedb_kafka 阅读全文

posted @ 2018-08-26 00:18 荣锋亮阅读(256) 评论(0) 推荐(0) 编辑

prisma 集成 pipelinedb测试

摘要： pipelinedb 是一个基于pg数据库开发的stream sql 数据库，和prisma 集成起来可以开发很方便的stream 应用使用docker 安装项目初始化 prisma init 注意选择数据库类型为pg 注意选择数据库类型为pg prisma init 修改模板配置 versi 阅读全文

posted @ 2018-08-26 00:00 荣锋亮阅读(541) 评论(0) 推荐(0) 编辑

ory Oathkeeper cloud native 访问认证平台

摘要： ORY Oathkeeper is an Identity & Access Proxy (IAP) that authorizes HTTP requests based on sets of rules. The BeyondCorp Model is designed by Google an 阅读全文

posted @ 2018-08-24 18:23 荣锋亮阅读(669) 评论(0) 推荐(0) 编辑

golang 自定义importpath

摘要： golang 的包导入和其他语言有好多不一样的地方，以下是一个自定义的导入 golang 自定义导入说明一个官方的说明比较简单，就不翻译了，主要是说我们可以通过添加meta 数据告诉包如何进行加载比较简单，就不翻译了，主要是说我们可以通过添加meta 数据告诉包如何进行加载 For examp 阅读全文

posted @ 2018-08-24 15:08 荣锋亮阅读(1354) 评论(0) 推荐(0) 编辑

streamsets 集成 minio s3测试

摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务搭建具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate 阅读全文

posted @ 2018-08-23 16:49 荣锋亮阅读(683) 评论(0) 推荐(0) 编辑

streamsets 集成 cratedb 测试

摘要：我们可以集成crate 到streamsets 中可以实现强大的数据导入，数据分析能力。演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services 阅读全文

posted @ 2018-08-23 14:51 荣锋亮阅读(998) 评论(0) 推荐(0) 编辑

streamsets k8s 部署试用

摘要：使用k8s 进行 streamsets的部署（没有使用持久化存储） k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace: 阅读全文

posted @ 2018-08-23 11:36 荣锋亮阅读(789) 评论(0) 推荐(0) 编辑

streamsets rest api 转换 graphql

摘要：原理很简单，就是使用swagger api 生成schema 然后代理请求处理api 调用参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: { 阅读全文

posted @ 2018-08-22 19:13 荣锋亮阅读(1400) 评论(0) 推荐(0) 编辑

StreamSets sdc rpc 测试

摘要：一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置运行效果数据发送方数据接收方参考资料 h 阅读全文

posted @ 2018-08-22 10:51 荣锋亮阅读(483) 评论(0) 推荐(0) 编辑

StreamSets 相关文章

摘要：相关streamsets 文章（不按顺序）学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st 阅读全文

posted @ 2018-08-22 10:33 荣锋亮阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 多线程 Pipelines

摘要：以下为官方文档： Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline 阅读全文

posted @ 2018-08-22 10:31 荣锋亮阅读(998) 评论(0) 推荐(0) 编辑

StreamSets SDC RPC Pipelines说明

摘要：主要目的是进行跨pipeline 数据的通信，而不仅仅是内部pipeline 的通信，之间不同网络进行通信一个参考图 pipeline 类型 origin destination 部署架构使用多个destination 保证可靠性，参考下图如果数据是相似的，可以实现负载均衡以及冗余，参考下图阅读全文

posted @ 2018-08-22 10:24 荣锋亮阅读(1369) 评论(0) 推荐(0) 编辑

StreamSets 管理 SDC Edge上的pipeline

摘要：可选的方式： ui （data colelctor）发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置默认是 http://localhost:18633 发送命令启动时格式如下： bin/edge -start=<pipelineID> -run 阅读全文

posted @ 2018-08-22 10:05 荣锋亮阅读(458) 评论(0) 推荐(0) 编辑

StreamSets 部署 Pipelines 到 SDC Edge

摘要：可以使用如下方法：下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址（主要需要网络可访问）导出edge pipeline 配置，并移动到edge 设备直接发布pipeline 可以通过u 阅读全文

posted @ 2018-08-22 09:54 荣锋亮阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 设计Edge pipeline

摘要： edge pipeline 运行在edge 执行模式，我们可以使用 data collector UI 进行edge pipeline 设计，设计完成之后，你可以部署对应的pipeline到edge 设备可以设计的edge pipeline edge 发送pipeline edge 发送pipe 阅读全文

posted @ 2018-08-22 09:22 荣锋亮阅读(633) 评论(0) 推荐(0) 编辑

StreamSets Data Collector Edge 说明

摘要： Data Collector Edge 是不包含界面的agent 安装下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc 阅读全文

posted @ 2018-08-21 22:52 荣锋亮阅读(2039) 评论(0) 推荐(0) 编辑

prisma 集成tidb 安装试用

摘要：以前官方提供的ansible 的脚本，现在有了docker的版本，可以方便测试使用实际完整配置参考 https://github.com/rongfengliang/prisma-tidb 安装tidb clone 代码 git clone https://github.com/pingcap/t 阅读全文

posted @ 2018-08-21 20:24 荣锋亮阅读(608) 评论(0) 推荐(0) 编辑

streamsets Executors 说明

摘要：执行程序阶段在收到事件时触发任务。执行者不会写入或存储事件。将执行程序用作事件流中数据流触发器的一部分，以执行事件驱动的与管道相关的任务，例如在目标关闭时移动完全写入的文件。可以使用的executors Amazon S3 - Creates new Amazon S3 objects for 阅读全文

posted @ 2018-08-21 15:48 荣锋亮阅读(451) 评论(0) 推荐(0) 编辑

streamsets geoip 使用

摘要： geoip 分析对于网站数据分析是很方便的安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p 阅读全文

posted @ 2018-08-21 15:37 荣锋亮阅读(550) 评论(3) 推荐(0) 编辑

streamsets stream selector 使用

摘要： stream selector 就是一个选择器，可以方便的对于不同record 的数据进行区分，并执行不同的处理 pipeline flow stream selector 配置 local fs 配置主要是进行数据的存储运行效果 dev 数据效果参考资料 https://streamset 阅读全文

posted @ 2018-08-21 13:27 荣锋亮阅读(1717) 评论(0) 推荐(0) 编辑

streamsets mongodb destinations 使用

摘要：测试集成了directory（excel）以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 12:44 荣锋亮阅读(1533) 评论(7) 推荐(0) 编辑

streamsets redis destinations 使用

摘要：测试集成了directory（excel）以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 10:28 荣锋亮阅读(1079) 评论(0) 推荐(0) 编辑

streamsets excel 数据处理

摘要： streamsets 有一个directory的origin 可以方便的进行文件的处理，支持的格式也比较多，使用简单 pipeline flow 配置 excel 数据copy 因为使用的是容器，会有数据copy 容器的一步因为使用的是容器，会有数据copy 容器的一步容器id 结合实际查询：阅读全文

posted @ 2018-08-21 09:24 荣锋亮阅读(1217) 评论(0) 推荐(0) 编辑

导航

公告