apache flink docker-compose 运行试用
摘要：apache 是一个流处理框架，官方提供了docker 镜像，同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1" services: jobmanager: image: flink expose: - "6123" por
阅读全文
posted @ 2018-08-29 10:21
随笔分类 - 大数据
stardog 基本试用(社区版)
摘要：stardog 是一个知识图谱的实现，实现了sparql 以及graphql 协议，使用起来也比较简单，官方文档挺全 下载 社区版，注册之后会有邮件通知，里面会包含license 以及软件包 下载地址 https://www.stardog.com/ 邮件内容 运行 邮件会有说明快速入门的文档，对于
阅读全文
posted @ 2018-08-27 09:51
streamsets 集成 minio s3测试
摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate
阅读全文
posted @ 2018-08-23 16:49
streamsets 集成 cratedb 测试
摘要：我们可以集成crate 到streamsets 中可以实现强大的数据导入，数据分析能力。 演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services
阅读全文
posted @ 2018-08-23 14:51
streamsets k8s 部署试用
摘要：使用k8s 进行 streamsets的部署（没有使用持久化存储） k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace:
阅读全文
posted @ 2018-08-23 11:36
streamsets rest api 转换 graphql
摘要：原理很简单，就是使用swagger api 生成schema 然后代理请求处理api 调用 参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: {
阅读全文
posted @ 2018-08-22 19:13
StreamSets sdc rpc 测试
摘要：一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置 运行效果 数据发送方 数据接收方 参考资料 h
阅读全文
posted @ 2018-08-22 10:51
StreamSets 相关文章
摘要：相关streamsets 文章（不按顺序） 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st
阅读全文
posted @ 2018-08-22 10:33
StreamSets 多线程 Pipelines
摘要：以下为官方文档： Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline
阅读全文
posted @ 2018-08-22 10:31
StreamSets SDC RPC Pipelines说明
摘要：主要目的是进行跨pipeline 数据的通信，而不仅仅是内部pipeline 的通信，之间不同网络进行通信 一个参考图 pipeline 类型 origin destination 部署架构 使用多个destination 保证可靠性，参考下图 如果数据是相似的，可以实现负载均衡以及冗余，参考下图
阅读全文
posted @ 2018-08-22 10:24
StreamSets 管理 SDC Edge上的pipeline
摘要：可选的方式： ui （data colelctor） 发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置 默认是 http://localhost:18633 发送命令 启动时 格式如下： bin/edge -start=<pipelineID> -run
阅读全文
posted @ 2018-08-22 10:05
StreamSets 部署 Pipelines 到 SDC Edge
摘要：可以使用如下方法： 下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址（主要需要网络可访问） 导出edge pipeline 配置，并移动到edge 设备 直接发布pipeline 可以通过u
阅读全文
posted @ 2018-08-22 09:54
StreamSets 设计Edge pipeline
摘要：edge pipeline 运行在edge 执行模式，我们可以使用 data collector UI 进行edge pipeline 设计， 设计完成之后，你可以部署对应的pipeline到edge 设备 可以设计的edge pipeline edge 发送pipeline edge 发送pipe
阅读全文
posted @ 2018-08-22 09:22
StreamSets Data Collector Edge 说明
摘要：Data Collector Edge 是不包含界面的agent 安装 下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc
阅读全文
posted @ 2018-08-21 22:52
prisma 集成tidb 安装试用
摘要：以前官方提供的ansible 的脚本，现在有了docker的版本，可以方便测试使用 实际完整配置参考 https://github.com/rongfengliang/prisma-tidb 安装tidb clone 代码 git clone https://github.com/pingcap/t
阅读全文
posted @ 2018-08-21 20:24
streamsets Executors 说明
摘要：执行程序阶段在收到事件时触发任务。执行者不会写入或存储事件。 将执行程序用作事件流中数据流触发器的一部分，以执行事件驱动的与管道相关的任务，例如在目标关闭时移动完全写入的文件。 可以使用的executors Amazon S3 - Creates new Amazon S3 objects for
阅读全文
posted @ 2018-08-21 15:48
streamsets geoip 使用
摘要：geoip 分析对于网站数据分析是很方便的 安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p
阅读全文
posted @ 2018-08-21 15:37
streamsets stream selector 使用
摘要：stream selector 就是一个选择器，可以方便的对于不同record 的数据进行区分，并执行不同的处理 pipeline flow stream selector 配置 local fs 配置 主要是进行数据的存储 运行效果 dev 数据 效果 参考资料 https://streamset
阅读全文
posted @ 2018-08-21 13:27
streamsets mongodb destinations 使用
摘要：测试集成了directory（excel） 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset
阅读全文
posted @ 2018-08-21 12:44
streamsets redis destinations 使用
摘要：测试集成了directory（excel） 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset
阅读全文
posted @ 2018-08-21 10:28
