随笔分类 - pipelinedb

piplinedb 团队加入confluen

摘要：这个消息对于使用pipelinedb 的人来说，可能有点不好，因为官方已经明确说明了，pipelinedb 截止到1.0 版本，将不再维护了，基本就要靠社区了，但是pipelinedb 团队还是比较好的，在文章中也给用户的提了一些迁移建议：使用confluent的ksql 代替pipelined 阅读全文

posted @ 2019-05-02 09:15 荣锋亮阅读(607) 评论(0) 推荐(0) 编辑

hasura-graphql 集成 pipelinedb 1.0.0

摘要：pipelinedb 1.0.0 已经是一个标准的pg 扩展了，同时以前的语法也有变动，但是集成进hasura-graphql 更方便了使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: db: image: dalo 阅读全文

posted @ 2018-10-26 12:43 荣锋亮阅读(364) 评论(0) 推荐(0) 编辑

PipelineDB 1.0.0 docker 运行

摘要：PipelineDB 1.0 是基于标准的pg 扩展来做的，安装也更方便了，目前还没有对应的docker 镜像所以参考timescaledb 做了一个，方便测试以及使用参考地址 https://github.com/rongfengliang/pipelinedb-docker 使用启动 do 阅读全文

posted @ 2018-10-25 19:12 荣锋亮阅读(696) 评论(0) 推荐(0) 编辑

PipelineDB 1.0.0 发布——使用标准的pg 扩展开发模型

摘要：PipelineDB 1.0.0 发布已经发布了，现在的已经成为一个标准的pg 扩展了，语法也有变动 create continous view 修改为了view，create streaem 修改为了create foreign table 比较好的是，官方的文档同时也已经变更为新的api 接口了阅读全文

posted @ 2018-10-25 18:14 荣锋亮阅读(657) 评论(0) 推荐(0) 编辑

pipelinedb 滑动窗口

摘要：滑动窗口可以方便的让我们进行一段时间的数据分析几个主要函数 clock_timestamp 内置的函数，总是返回当前的时间戳 arrival_timestamp 事件达到的时间单滑动窗口参考 CREATE CONTINUOUS VIEW recent_users WITH (sw = '1 m 阅读全文

posted @ 2018-08-26 22:48 荣锋亮阅读(266) 评论(0) 推荐(0) 编辑

pipelinedb Continuous transforms 操作

摘要：Continuous transforms 可以进行数据的转换，数据是不进行存储，主要是可以加入到其他的stream pipeline 中,或者写到其他外部存储中，和存储过程结合使用,当前默认内置一个pipeline_stream_insert方便数据写入其他strem 注意不支持聚合操作 doc 阅读全文

posted @ 2018-08-26 22:30 荣锋亮阅读(384) 评论(0) 推荐(0) 编辑

pipelinedb continuous view 操作

摘要：continuous view 是 pipelinedb的核心，类似一个view，但是数据是合并了stream以及table的数据输入数据，并且是实时根据输入数据进行更新的语法 CREATE CONTINUOUS VIEW name AS query query是一个pg 的select 格式的阅读全文

posted @ 2018-08-26 11:38 荣锋亮阅读(448) 评论(0) 推荐(0) 编辑

hasura graphql 集成pipelinedb测试

摘要：实际上因为pipelinedb 是原生支持pg的，所以应该不存在太大的问题，以下为测试使用doker-compose 运行配置 docker-compose 文件 version: '3.6' services: postgres: image: tkanos/pipelinedb_kafka 阅读全文

posted @ 2018-08-26 00:18 荣锋亮阅读(259) 评论(0) 推荐(0) 编辑