随笔分类 -  pgspider

pg extension
yugabyte 2.1.0. 发布
摘要:yugabyte 2.1.0 发布了,更好的性能,同时好多特性也已经ga了,同时官方文档中一个很不错的是 更好的与hasura graphql engine 的集成,这个我以前有简单比较多,因为yugabyte 底层还是pg 的 源码,存储层使用了自己的,所以兼容性是很不错的(相比同类兼容pg 的) 阅读全文

posted @ 2020-03-03 08:45 荣锋亮 阅读(351) 评论(0) 推荐(0) 编辑

pg pg_stat_statements 扩展使用
摘要:pg_stat_statements 使用 启用扩展 pg 配置 shared_preload_libraries = 'pg_stat_statements' pg_stat_statements.max = 10000 pg_stat_statements.track = all 注意修改次配置 阅读全文

posted @ 2020-03-02 22:38 荣锋亮 阅读(1417) 评论(0) 推荐(0) 编辑

pgspider 集成hypopg 虚拟索引扩展
摘要:虚拟索引是不占用空间的,可以用来方便的进行sql 查询的性能评估,帮助我们了解查询优化的效果 hypopg 是一个pg 扩展,提供了比较方便的函数,我们可以用来评估查询,以下是pgspider 集成hypopg 的一个学习 环境准备 dockerfile 使用docker 运行,参考我的相关连接 F 阅读全文

posted @ 2020-03-01 18:56 荣锋亮 阅读(366) 评论(0) 推荐(0) 编辑

postgres http fdw + plv8+pg_cron 处理数据
摘要:昨天有简单写过使用http fdw+plv8 处理数据的,以下是一个结合pg_cron 的 场景: 使用pg_cron 每隔一分钟操作此获取ip 的操作,ip 获取通过http fdw 处理,同时结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-28 09:15 荣锋亮 阅读(450) 评论(0) 推荐(0) 编辑

postgres http fdw + plv8 处理数据
摘要:原理很简单就是就有http fdw 获取数据,然后结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" services: pgspider-fdw: image: dalongrong/pgspider:gzip-http-plv8 ports: 阅读全文

posted @ 2020-02-27 23:20 荣锋亮 阅读(865) 评论(0) 推荐(0) 编辑

pgspider http fdw http 相关的几个配置参数
摘要:http 请求时间配置 session 级别的 set http.timeout_msec = 10000; SELECT http_set_curlopt('CURLOPT_TIMEOUT', '10'); 全局级别的 ALTER DATABASE postgres SET "http.timeo 阅读全文

posted @ 2020-02-27 19:29 荣锋亮 阅读(369) 评论(0) 推荐(0) 编辑

pgspider gzip fdw试用(集成gzip+http+graphql-engine)
摘要:gzip 也是一个在实际中比较有用的处理工具,可以减少数据传输,以下是集成gzip http 以及plv8 的处理 gzip Docker 镜像 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get up 阅读全文

posted @ 2020-02-27 16:40 荣锋亮 阅读(440) 评论(0) 推荐(0) 编辑

pgspider http fdw试用
摘要:pgsql-http 是一个很不错的 处理http 请求的扩展,我们可以用来方便的处理http 请求 以下是一个简单的试用(包括docker 镜像构建) pgsql-http 镜像 使用pgspider 的base 镜像 dockerfile FROM dalongrong/pgspider:bas 阅读全文

posted @ 2020-02-27 11:38 荣锋亮 阅读(507) 评论(0) 推荐(0) 编辑

pgspider 一些ppt 截图
摘要:以下是一些关于pgspider的实践截图,供参考,可以进一步的了解pgspider 的设计以及解决的问题 一个场景 pgspider 技术概述 多租户特性 pgspider core 功能 pgspider 内部处理 push down 处理 push down 相关问题的处理 node 寻址的处理 阅读全文

posted @ 2020-02-26 18:27 荣锋亮 阅读(428) 评论(0) 推荐(0) 编辑

cube.js 集成 elasticsearch 的一种变通方法
摘要:前边有介绍过cube.js 对于es 的支持(以及关于opendistro elasticsearch的bug)实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题,对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文 阅读全文

posted @ 2020-02-25 09:35 荣锋亮 阅读(422) 评论(0) 推荐(0) 编辑

使用postgres_fdw 串接elasticsearch fdw
摘要:目的很简单,主要还是elasticsearch fdw 的镜像太大,为了减少all-in-one 的大小,实现一个层级的数据模型 环境准备 docker-compose 文件 version: "3" services: elasticsearch: image: elasticsearch:7.6 阅读全文

posted @ 2020-02-25 09:12 荣锋亮 阅读(1001) 评论(0) 推荐(0) 编辑

postgres pg_cron 扩展连接远程pg server
摘要:pg_cron 是一个简单但是使用还算灵活的pg定时任务扩展,以下是一个remote insert 数据的简单试用 环境准备 docker-compose 注意demo,包含了好几个组件,cstore 以及graphql-engine 可以不用管,但是三者集成起来将会很强大的 version: '3 阅读全文

posted @ 2020-02-24 10:23 荣锋亮 阅读(587) 评论(0) 推荐(0) 编辑

pgspider cstore fdw docker 镜像试用
摘要:cstore_fdw 是citus 团队开源的pg 列式存储扩展,可以加速我们的数据分析,关于列式存储以及行式存储的比较 可以参考下边连接的动图(来自clickhouse 官方网站) https://clickhouse.tech/docs/en/ 以下是关于cstore fdw 的简单使用 环境准 阅读全文

posted @ 2020-02-24 09:07 荣锋亮 阅读(422) 评论(0) 推荐(0) 编辑

postgres pg_cron 扩展试用
摘要:就是一个简单的试用,同时测试下docker 基础镜像 环境准备 docker-compose 文件 version: '3' services: pgspider-pg_cron: image: dalongrong/pgspider:pg_cron ports: - "5432:5432" env 阅读全文

posted @ 2020-02-23 21:36 荣锋亮 阅读(1192) 评论(0) 推荐(0) 编辑

pgspider pg_cron 以及cstore fdw docker 镜像
摘要:citus 开源的好几个pg fdw 都是很不错的扩展,以下是关于cstore 以及pg_cron 的扩展的docker 镜像 pg_cron dokerfile 同样是基于pgspider 的base 镜像 FROM dalongrong/pgspider:base as build WORKDI 阅读全文

posted @ 2020-02-23 20:51 荣锋亮 阅读(472) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw 试用
摘要:昨天有构建过一个clickhouse 的fdw docker 镜像,今天测试下 环境使用docker-compose 运行,clickhouse 同样也是 环境准备 docker-compose 环境 version: "3" services: server: image: yandex/clic 阅读全文

posted @ 2020-02-22 12:30 荣锋亮 阅读(668) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw docker 镜像
摘要:老样子集成base 镜像构建,以下是clickhouse dockerfile Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y openss 阅读全文

posted @ 2020-02-21 23:19 荣锋亮 阅读(349) 评论(0) 推荐(0) 编辑

pgspider mongodb fdw 查询集成
摘要:前边有简单说过关于mongodb fdw 容器构建的,一些是一些使用上的简单说明 环境准备 docker-compose 文件 version: "3" services: pg-mongo: image: dalongrong/pgspider:mongo ports: - "5432:5432" 阅读全文

posted @ 2020-02-14 11:16 荣锋亮 阅读(537) 评论(0) 推荐(0) 编辑

pgspider zombodb集成使用
摘要:zombodb 是一个强大的pg 扩展,我们可以像操作数据库一样操作es,以下是pgspider 与zombodb 的构建 说明,使用最新版本v5.6.16-1.0.20 构建失败,使用了v.40 dockerfile 老样子基于已经构建好的pgspider base 镜像 FROM dalongr 阅读全文

posted @ 2020-02-13 11:41 荣锋亮 阅读(500) 评论(0) 推荐(0) 编辑

pgspider griddb fdw +plv8 集成使用
摘要:以下是一个简单的griddb fdw 与plv8 的集成,同时添加了node require 模块的支持,可以实现灵活的系统扩展 pgspider plv8 docker镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-02-12 18:55 荣锋亮 阅读(431) 评论(0) 推荐(0) 编辑

导航