荣锋亮 - 博客园

prisma 服务器端订阅试用

摘要： graphql 协议是支持数据的实时订阅功能的（一般基于websocket 进行实现） prisma 支持客户端订阅以及服务器端订阅（类似webhook），可以方便将数据推送后端服务目的 prisma 实现这个功能是方便集成当前的serverless 基础设施，当前支持的是通过webhook 的阅读全文

posted @ 2018-08-28 12:51 荣锋亮阅读(689) 评论(0) 推荐(0) 编辑

stardog 基本试用(社区版)

摘要： stardog 是一个知识图谱的实现，实现了sparql 以及graphql 协议，使用起来也比较简单，官方文档挺全下载社区版，注册之后会有邮件通知，里面会包含license 以及软件包下载地址 https://www.stardog.com/ 邮件内容运行邮件会有说明快速入门的文档，对于阅读全文

posted @ 2018-08-27 09:51 荣锋亮阅读(1231) 评论(0) 推荐(0) 编辑

pipelinedb 滑动窗口

摘要：滑动窗口可以方便的让我们进行一段时间的数据分析几个主要函数 clock_timestamp 内置的函数，总是返回当前的时间戳 arrival_timestamp 事件达到的时间单滑动窗口参考 CREATE CONTINUOUS VIEW recent_users WITH (sw = '1 m 阅读全文

posted @ 2018-08-26 22:48 荣锋亮阅读(264) 评论(0) 推荐(0) 编辑

pipelinedb Continuous transforms 操作

摘要： Continuous transforms 可以进行数据的转换，数据是不进行存储，主要是可以加入到其他的stream pipeline 中,或者写到其他外部存储中，和存储过程结合使用,当前默认内置一个pipeline_stream_insert方便数据写入其他strem 注意不支持聚合操作 doc 阅读全文

posted @ 2018-08-26 22:30 荣锋亮阅读(382) 评论(0) 推荐(0) 编辑

pipelinedb continuous view 操作

摘要： continuous view 是 pipelinedb的核心，类似一个view，但是数据是合并了stream以及table的数据输入数据，并且是实时根据输入数据进行更新的语法 CREATE CONTINUOUS VIEW name AS query query是一个pg 的select 格式的阅读全文

posted @ 2018-08-26 11:38 荣锋亮阅读(445) 评论(0) 推荐(0) 编辑

hasura graphql 集成pipelinedb测试

摘要：实际上因为pipelinedb 是原生支持pg的，所以应该不存在太大的问题，以下为测试使用doker-compose 运行配置 docker-compose 文件 version: '3.6' services: postgres: image: tkanos/pipelinedb_kafka 阅读全文

posted @ 2018-08-26 00:18 荣锋亮阅读(257) 评论(0) 推荐(0) 编辑

prisma 集成 pipelinedb测试

摘要： pipelinedb 是一个基于pg数据库开发的stream sql 数据库，和prisma 集成起来可以开发很方便的stream 应用使用docker 安装项目初始化 prisma init 注意选择数据库类型为pg 注意选择数据库类型为pg prisma init 修改模板配置 versi 阅读全文

posted @ 2018-08-26 00:00 荣锋亮阅读(541) 评论(0) 推荐(0) 编辑

ory Oathkeeper cloud native 访问认证平台

摘要： ORY Oathkeeper is an Identity & Access Proxy (IAP) that authorizes HTTP requests based on sets of rules. The BeyondCorp Model is designed by Google an 阅读全文

posted @ 2018-08-24 18:23 荣锋亮阅读(681) 评论(0) 推荐(0) 编辑

golang 自定义importpath

摘要： golang 的包导入和其他语言有好多不一样的地方，以下是一个自定义的导入 golang 自定义导入说明一个官方的说明比较简单，就不翻译了，主要是说我们可以通过添加meta 数据告诉包如何进行加载比较简单，就不翻译了，主要是说我们可以通过添加meta 数据告诉包如何进行加载 For examp 阅读全文

posted @ 2018-08-24 15:08 荣锋亮阅读(1356) 评论(0) 推荐(0) 编辑

streamsets 集成 minio s3测试

摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务搭建具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate 阅读全文

posted @ 2018-08-23 16:49 荣锋亮阅读(686) 评论(0) 推荐(0) 编辑

streamsets 集成 cratedb 测试

摘要：我们可以集成crate 到streamsets 中可以实现强大的数据导入，数据分析能力。演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services 阅读全文

posted @ 2018-08-23 14:51 荣锋亮阅读(1001) 评论(0) 推荐(0) 编辑

streamsets k8s 部署试用

摘要：使用k8s 进行 streamsets的部署（没有使用持久化存储） k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace: 阅读全文

posted @ 2018-08-23 11:36 荣锋亮阅读(798) 评论(0) 推荐(0) 编辑

streamsets rest api 转换 graphql

摘要：原理很简单，就是使用swagger api 生成schema 然后代理请求处理api 调用参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: { 阅读全文

posted @ 2018-08-22 19:13 荣锋亮阅读(1404) 评论(0) 推荐(0) 编辑

StreamSets sdc rpc 测试

摘要：一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置运行效果数据发送方数据接收方参考资料 h 阅读全文

posted @ 2018-08-22 10:51 荣锋亮阅读(484) 评论(0) 推荐(0) 编辑

StreamSets 相关文章

摘要：相关streamsets 文章（不按顺序）学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st 阅读全文

posted @ 2018-08-22 10:33 荣锋亮阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 多线程 Pipelines

摘要：以下为官方文档： Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline 阅读全文

posted @ 2018-08-22 10:31 荣锋亮阅读(1003) 评论(0) 推荐(0) 编辑

StreamSets SDC RPC Pipelines说明

摘要：主要目的是进行跨pipeline 数据的通信，而不仅仅是内部pipeline 的通信，之间不同网络进行通信一个参考图 pipeline 类型 origin destination 部署架构使用多个destination 保证可靠性，参考下图如果数据是相似的，可以实现负载均衡以及冗余，参考下图阅读全文

posted @ 2018-08-22 10:24 荣锋亮阅读(1375) 评论(0) 推荐(0) 编辑

StreamSets 管理 SDC Edge上的pipeline

摘要：可选的方式： ui （data colelctor）发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置默认是 http://localhost:18633 发送命令启动时格式如下： bin/edge -start=<pipelineID> -run 阅读全文

posted @ 2018-08-22 10:05 荣锋亮阅读(462) 评论(0) 推荐(0) 编辑

StreamSets 部署 Pipelines 到 SDC Edge

摘要：可以使用如下方法：下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址（主要需要网络可访问）导出edge pipeline 配置，并移动到edge 设备直接发布pipeline 可以通过u 阅读全文

posted @ 2018-08-22 09:54 荣锋亮阅读(521) 评论(0) 推荐(0) 编辑

StreamSets 设计Edge pipeline

摘要： edge pipeline 运行在edge 执行模式，我们可以使用 data collector UI 进行edge pipeline 设计，设计完成之后，你可以部署对应的pipeline到edge 设备可以设计的edge pipeline edge 发送pipeline edge 发送pipe 阅读全文

posted @ 2018-08-22 09:22 荣锋亮阅读(636) 评论(0) 推荐(0) 编辑

StreamSets Data Collector Edge 说明

摘要： Data Collector Edge 是不包含界面的agent 安装下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc 阅读全文

posted @ 2018-08-21 22:52 荣锋亮阅读(2049) 评论(0) 推荐(0) 编辑

prisma 集成tidb 安装试用

摘要：以前官方提供的ansible 的脚本，现在有了docker的版本，可以方便测试使用实际完整配置参考 https://github.com/rongfengliang/prisma-tidb 安装tidb clone 代码 git clone https://github.com/pingcap/t 阅读全文

posted @ 2018-08-21 20:24 荣锋亮阅读(612) 评论(0) 推荐(0) 编辑

streamsets Executors 说明

摘要：执行程序阶段在收到事件时触发任务。执行者不会写入或存储事件。将执行程序用作事件流中数据流触发器的一部分，以执行事件驱动的与管道相关的任务，例如在目标关闭时移动完全写入的文件。可以使用的executors Amazon S3 - Creates new Amazon S3 objects for 阅读全文

posted @ 2018-08-21 15:48 荣锋亮阅读(456) 评论(0) 推荐(0) 编辑

streamsets geoip 使用

摘要： geoip 分析对于网站数据分析是很方便的安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p 阅读全文

posted @ 2018-08-21 15:37 荣锋亮阅读(552) 评论(3) 推荐(0) 编辑

streamsets stream selector 使用

摘要： stream selector 就是一个选择器，可以方便的对于不同record 的数据进行区分，并执行不同的处理 pipeline flow stream selector 配置 local fs 配置主要是进行数据的存储运行效果 dev 数据效果参考资料 https://streamset 阅读全文

posted @ 2018-08-21 13:27 荣锋亮阅读(1730) 评论(0) 推荐(0) 编辑

streamsets mongodb destinations 使用

摘要：测试集成了directory（excel）以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 12:44 荣锋亮阅读(1541) 评论(7) 推荐(0) 编辑

streamsets redis destinations 使用

摘要：测试集成了directory（excel）以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 10:28 荣锋亮阅读(1081) 评论(0) 推荐(0) 编辑

streamsets excel 数据处理

摘要： streamsets 有一个directory的origin 可以方便的进行文件的处理，支持的格式也比较多，使用简单 pipeline flow 配置 excel 数据copy 因为使用的是容器，会有数据copy 容器的一步因为使用的是容器，会有数据copy 容器的一步容器id 结合实际查询：阅读全文

posted @ 2018-08-21 09:24 荣锋亮阅读(1222) 评论(0) 推荐(0) 编辑

streamsets Processors 说明

摘要： Processors 表示对于一种数据操作处理，在pipeline中可以应用多个Processors，同时根据不同的执行模式，可以分为独立模式的，集群模式、边缘模式（agent），以及帮助测试的测试Processors 独立pipelineonly Record Deduplicator - R 阅读全文

posted @ 2018-08-21 09:22 荣锋亮阅读(914) 评论(0) 推荐(0) 编辑

streamsets record header 属性

摘要： record 的header 属性可以在pipeline 逻辑中使用。有写stages 会为了特殊目录创建reord header 属性，比如（cdc）需要进行crud 操作类型的区分你可以使用一些processor 去创建或者更新record 的header 属性信息一个简单的header处阅读全文

posted @ 2018-08-20 15:56 荣锋亮阅读(973) 评论(0) 推荐(0) 编辑

streamsets 错误记录处理

摘要：我们可以在stage 级别，或者piepline 级别进行error 处理配置 pipeline的错误记录处理 discard（丢踢） send response to Origin pipeline传递错误记录回microservice origin ，同时包含了错误的record 个数以及met 阅读全文

posted @ 2018-08-20 15:16 荣锋亮阅读(935) 评论(0) 推荐(0) 编辑

streamsets 丢踢无关数据

摘要：对于不需要的数据，streamsets 可以方便的设置丢踢，我们可以通过定义require 字段或者前置条件进行配置 require（必须字段）必须字段是必须存在一条record 中的，对于不存在的，系统根据配置的error 处理规则进行处理，require 字段可以在processor exe 阅读全文

posted @ 2018-08-20 14:59 荣锋亮阅读(389) 评论(0) 推荐(0) 编辑

streamsets 数据流设计

摘要： streamsets 支持branch（分支）&& merge（合并）模式的数据流 branch 数据流如下图：我们可以根据数据包含的字段进行拆分，不同的数据流处理自己关注的数据 merge 合并数据流如下图：可以将多个数据流，发送到同一个stage（阶段），但是不是进行数据的合并，数据的处阅读全文

posted @ 2018-08-20 14:45 荣锋亮阅读(1829) 评论(0) 推荐(0) 编辑

streamsets origin 说明

摘要： origin 是streamsets pipeline的soure 入口，只能应用一个origin 在pipeline中，对于运行在不同执行模式的pipeline 可以应用不同的origin 独立模式集群模式 edge模式（agent）开发模式（方便测试） standalone（独立模式）组件阅读全文

posted @ 2018-08-20 14:27 荣锋亮阅读(1717) 评论(0) 推荐(0) 编辑

streamsets http client && json parse && local fs 使用

摘要： streamsets 包含了丰富的组件，origin processer destination 测试例子为集成了http client 以及json 处理启动服务使用docker 创建pipeline 添加http client 组件配置http client http 服务地址： http 阅读全文

posted @ 2018-08-20 13:45 荣锋亮阅读(2117) 评论(0) 推荐(0) 编辑

streamsets 包管理

摘要： streamsets 自带一个包管理，可以方便的进行三方组件的添加，比如我们需要处理mongodb 数据，默认是没有添加这个组件的，操作如下：选择包管理选择组件安装点击安装提示界面安装完成，重启应用使用添加配置添加配置阅读全文

posted @ 2018-08-19 22:52 荣锋亮阅读(770) 评论(0) 推荐(0) 编辑

使用ksync 加速基于k8s 的应用开发

摘要： ksync 实际上实现了类似 docker docker run -v /foo:/bar 的功能，可以加速我们应用的开发&&运行安装 mac os curl https://vapor-ware.github.io/gimme-that/gimme.sh | bash 基本使用初始化 ksyn 阅读全文

posted @ 2018-08-19 22:25 荣锋亮阅读(436) 评论(0) 推荐(0) 编辑

streamsets microservice pipeline 试用

摘要：实际上还是一个pipeline，只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量协议数据的处理基本环境使用docker&& docker-compose 进行环境搭建，具体参考项目：https://github.com/rongfengliang/st 阅读全文

posted @ 2018-08-19 10:00 荣锋亮阅读(879) 评论(0) 推荐(0) 编辑

kudu 虚拟机环境使用

摘要：安装 curl -s https://raw.githubusercontent.com/cloudera/kudu-examples/master/demo-vm-setup/bootstrap.sh | bash 备注：会比较慢，可以使用其他的下载工具，提前下载放到目录即可，同时默认会自动启动阅读全文

posted @ 2018-08-19 00:46 荣锋亮阅读(303) 评论(0) 推荐(0) 编辑

kudu yum 安装

摘要： yum 源 http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo [cloudera-kudu] # Packages for Cloudera's Distribution for kudu, Versio 阅读全文

posted @ 2018-08-19 00:45 荣锋亮阅读(496) 评论(0) 推荐(0) 编辑

导航

公告