pgmetrics 一个灵活方便的pg 监控cli
摘要：pgmetrics 是基于golang 编写的一个灵活的pg性能分析cli，我们可以方便的看到关于pg 以及系统的一些metrics 使用简单，支持human，json，csv 等格式 下载 参考以下地址https://github.com/rapidloop/pgmetrics/releases
阅读全文
posted @ 2020-03-03 11:34
随笔分类 - postgres
yugabyte 2.1.0. 发布
摘要：yugabyte 2.1.0 发布了，更好的性能，同时好多特性也已经ga了，同时官方文档中一个很不错的是 更好的与hasura graphql engine 的集成，这个我以前有简单比较多，因为yugabyte 底层还是pg 的 源码，存储层使用了自己的，所以兼容性是很不错的（相比同类兼容pg 的）
阅读全文
posted @ 2020-03-03 08:45
pg pg_stat_statements 扩展使用
摘要：pg_stat_statements 使用 启用扩展 pg 配置 shared_preload_libraries = 'pg_stat_statements' pg_stat_statements.max = 10000 pg_stat_statements.track = all 注意修改次配置
阅读全文
posted @ 2020-03-02 22:38
pgspider 集成hypopg 虚拟索引扩展
摘要：虚拟索引是不占用空间的，可以用来方便的进行sql 查询的性能评估，帮助我们了解查询优化的效果 hypopg 是一个pg 扩展，提供了比较方便的函数，我们可以用来评估查询，以下是pgspider 集成hypopg 的一个学习 环境准备 dockerfile 使用docker 运行，参考我的相关连接 F
阅读全文
posted @ 2020-03-01 18:56
postgres http fdw + plv8+pg_cron 处理数据
摘要：昨天有简单写过使用http fdw+plv8 处理数据的，以下是一个结合pg_cron 的 场景： 使用pg_cron 每隔一分钟操作此获取ip 的操作，ip 获取通过http fdw 处理，同时结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3"
阅读全文
posted @ 2020-02-28 09:15
postgres http fdw + plv8 处理数据
摘要：原理很简单就是就有http fdw 获取数据，然后结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" services: pgspider-fdw: image: dalongrong/pgspider:gzip-http-plv8 ports:
阅读全文
posted @ 2020-02-27 23:20
pgspider http fdw http 相关的几个配置参数
摘要：http 请求时间配置 session 级别的 set http.timeout_msec = 10000; SELECT http_set_curlopt('CURLOPT_TIMEOUT', '10'); 全局级别的 ALTER DATABASE postgres SET "http.timeo
阅读全文
posted @ 2020-02-27 19:29
pgspider gzip fdw试用(集成gzip+http+graphql-engine)
摘要：gzip 也是一个在实际中比较有用的处理工具，可以减少数据传输，以下是集成gzip http 以及plv8 的处理 gzip Docker 镜像 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get up
阅读全文
posted @ 2020-02-27 16:40
pgspider http fdw试用
摘要：pgsql-http 是一个很不错的 处理http 请求的扩展，我们可以用来方便的处理http 请求 以下是一个简单的试用（包括docker 镜像构建） pgsql-http 镜像 使用pgspider 的base 镜像 dockerfile FROM dalongrong/pgspider:bas
阅读全文
posted @ 2020-02-27 11:38
一些pg fdw 版本过低的一些解决方法
摘要：最近在学习，测试一些主流的基于pg fdw 的数据访问机制，发现好多对于pg 10 pg 11 。。。 等基本就不支持了。 好久没有更新了，但是老版本还是比较稳定的，以下是一些自己的思考，做一个简单的记录 使用新版本pg 的postgres fdw 集成旧版本的 这种方式会形成一个数据访问的层级结构
阅读全文
posted @ 2020-02-26 19:40
pgspider 一些ppt 截图
摘要：以下是一些关于pgspider的实践截图，供参考，可以进一步的了解pgspider 的设计以及解决的问题 一个场景 pgspider 技术概述 多租户特性 pgspider core 功能 pgspider 内部处理 push down 处理 push down 相关问题的处理 node 寻址的处理
阅读全文
posted @ 2020-02-26 18:27
postgres cassandra_fdw 扩展试用
摘要：经过测试cassandra_fdw 对于pg11 支持哟问题，所以就参考官方的建议使用了pg 9.5 构建docker 镜像 cassandra_fdw docker 镜像 Dockerfile FROM postgres:9.5 as build WORKDIR /app RUN apt-get
阅读全文
posted @ 2020-02-26 17:58
使用 postgres s3 fdw + cube.js 分析 csv 数据
摘要：昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的，今天简单试用下 环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: -
阅读全文
posted @ 2020-02-26 11:37
postgres s3 fdw 试用
摘要：s3 是一个很不错的文件存储系统，以下是一个简单的试用s3 fdw （使用https://github.com/smomni/s3_fdw_py）此版本兼容pg11 同时使用了python3 开发，使用multicorn （很强大） 环境准备 说明 s3_fdw 的docker 镜像以及原有的已经p
阅读全文
posted @ 2020-02-25 19:45
cube.js 集成 elasticsearch 的一种变通方法
摘要：前边有介绍过cube.js 对于es 的支持（以及关于opendistro elasticsearch的bug）实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题，对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文
阅读全文
posted @ 2020-02-25 09:35
使用postgres_fdw 串接elasticsearch fdw
摘要：目的很简单，主要还是elasticsearch fdw 的镜像太大，为了减少all-in-one 的大小，实现一个层级的数据模型 环境准备 docker-compose 文件 version: "3" services: elasticsearch: image: elasticsearch:7.6
阅读全文
posted @ 2020-02-25 09:12
postgres elasticsearch fdw 学习
摘要：es 的fdw 是基于multicorn（python扩展）开发的，官方的multicorn 版本已经很老了，对于pg 的高版本是不支持的 但是已经有人提供了支持新版本的包了,还是很不错的，基于python 开发fdw 简单方便 multicorn 支持的版本 apt-get install pos
阅读全文
posted @ 2020-02-24 18:52
postgres pg_cron 扩展连接远程pg server
摘要：pg_cron 是一个简单但是使用还算灵活的pg定时任务扩展，以下是一个remote insert 数据的简单试用 环境准备 docker-compose 注意demo，包含了好几个组件，cstore 以及graphql-engine 可以不用管，但是三者集成起来将会很强大的 version: '3
阅读全文
posted @ 2020-02-24 10:23
使用 cstore fdw 加速hasura graphql-engine的查询
摘要：列式存储在数据分析（olap）上有天然的优势，以下是使用cstore fdw + hasura graphql-engine 加速 数据的分析 环境准备 docker-compose 文件 version: '3' services: graphql-engine: image: hasura/gr
阅读全文
posted @ 2020-02-24 09:22
pgspider cstore fdw docker 镜像试用
摘要：cstore_fdw 是citus 团队开源的pg 列式存储扩展，可以加速我们的数据分析,关于列式存储以及行式存储的比较 可以参考下边连接的动图（来自clickhouse 官方网站） https://clickhouse.tech/docs/en/ 以下是关于cstore fdw 的简单使用 环境准
阅读全文
posted @ 2020-02-24 09:07
