随笔分类 -  容器

上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 28 下一页

pgspider 集成hypopg 虚拟索引扩展
摘要:虚拟索引是不占用空间的,可以用来方便的进行sql 查询的性能评估,帮助我们了解查询优化的效果 hypopg 是一个pg 扩展,提供了比较方便的函数,我们可以用来评估查询,以下是pgspider 集成hypopg 的一个学习 环境准备 dockerfile 使用docker 运行,参考我的相关连接 F 阅读全文

posted @ 2020-03-01 18:56 荣锋亮 阅读(366) 评论(0) 推荐(0) 编辑

postgres http fdw + plv8+pg_cron 处理数据
摘要:昨天有简单写过使用http fdw+plv8 处理数据的,以下是一个结合pg_cron 的 场景: 使用pg_cron 每隔一分钟操作此获取ip 的操作,ip 获取通过http fdw 处理,同时结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-28 09:15 荣锋亮 阅读(451) 评论(0) 推荐(0) 编辑

postgres http fdw + plv8 处理数据
摘要:原理很简单就是就有http fdw 获取数据,然后结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" services: pgspider-fdw: image: dalongrong/pgspider:gzip-http-plv8 ports: 阅读全文

posted @ 2020-02-27 23:20 荣锋亮 阅读(866) 评论(0) 推荐(0) 编辑

pgspider http fdw http 相关的几个配置参数
摘要:http 请求时间配置 session 级别的 set http.timeout_msec = 10000; SELECT http_set_curlopt('CURLOPT_TIMEOUT', '10'); 全局级别的 ALTER DATABASE postgres SET "http.timeo 阅读全文

posted @ 2020-02-27 19:29 荣锋亮 阅读(369) 评论(0) 推荐(0) 编辑

pgspider gzip fdw试用(集成gzip+http+graphql-engine)
摘要:gzip 也是一个在实际中比较有用的处理工具,可以减少数据传输,以下是集成gzip http 以及plv8 的处理 gzip Docker 镜像 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get up 阅读全文

posted @ 2020-02-27 16:40 荣锋亮 阅读(440) 评论(0) 推荐(0) 编辑

pgspider http fdw试用
摘要:pgsql-http 是一个很不错的 处理http 请求的扩展,我们可以用来方便的处理http 请求 以下是一个简单的试用(包括docker 镜像构建) pgsql-http 镜像 使用pgspider 的base 镜像 dockerfile FROM dalongrong/pgspider:bas 阅读全文

posted @ 2020-02-27 11:38 荣锋亮 阅读(509) 评论(0) 推荐(0) 编辑

postgres cassandra_fdw 扩展试用
摘要:经过测试cassandra_fdw 对于pg11 支持哟问题,所以就参考官方的建议使用了pg 9.5 构建docker 镜像 cassandra_fdw docker 镜像 Dockerfile FROM postgres:9.5 as build WORKDIR /app RUN apt-get 阅读全文

posted @ 2020-02-26 17:58 荣锋亮 阅读(405) 评论(0) 推荐(0) 编辑

使用 postgres s3 fdw + cube.js 分析 csv 数据
摘要:昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的,今天简单试用下 环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: - 阅读全文

posted @ 2020-02-26 11:37 荣锋亮 阅读(484) 评论(0) 推荐(0) 编辑

postgres s3 fdw 试用
摘要:s3 是一个很不错的文件存储系统,以下是一个简单的试用s3 fdw (使用https://github.com/smomni/s3_fdw_py)此版本兼容pg11 同时使用了python3 开发,使用multicorn (很强大) 环境准备 说明 s3_fdw 的docker 镜像以及原有的已经p 阅读全文

posted @ 2020-02-25 19:45 荣锋亮 阅读(776) 评论(0) 推荐(0) 编辑

cube.js 集成 elasticsearch 的一种变通方法
摘要:前边有介绍过cube.js 对于es 的支持(以及关于opendistro elasticsearch的bug)实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题,对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文 阅读全文

posted @ 2020-02-25 09:35 荣锋亮 阅读(422) 评论(0) 推荐(0) 编辑

postgres elasticsearch fdw 学习
摘要:es 的fdw 是基于multicorn(python扩展)开发的,官方的multicorn 版本已经很老了,对于pg 的高版本是不支持的 但是已经有人提供了支持新版本的包了,还是很不错的,基于python 开发fdw 简单方便 multicorn 支持的版本 apt-get install pos 阅读全文

posted @ 2020-02-24 18:52 荣锋亮 阅读(1461) 评论(0) 推荐(0) 编辑

postgres pg_cron 扩展连接远程pg server
摘要:pg_cron 是一个简单但是使用还算灵活的pg定时任务扩展,以下是一个remote insert 数据的简单试用 环境准备 docker-compose 注意demo,包含了好几个组件,cstore 以及graphql-engine 可以不用管,但是三者集成起来将会很强大的 version: '3 阅读全文

posted @ 2020-02-24 10:23 荣锋亮 阅读(589) 评论(0) 推荐(0) 编辑

使用 cstore fdw 加速hasura graphql-engine的查询
摘要:列式存储在数据分析(olap)上有天然的优势,以下是使用cstore fdw + hasura graphql-engine 加速 数据的分析 环境准备 docker-compose 文件 version: '3' services: graphql-engine: image: hasura/gr 阅读全文

posted @ 2020-02-24 09:22 荣锋亮 阅读(358) 评论(0) 推荐(0) 编辑

postgres pg_cron 扩展试用
摘要:就是一个简单的试用,同时测试下docker 基础镜像 环境准备 docker-compose 文件 version: '3' services: pgspider-pg_cron: image: dalongrong/pgspider:pg_cron ports: - "5432:5432" env 阅读全文

posted @ 2020-02-23 21:36 荣锋亮 阅读(1193) 评论(0) 推荐(0) 编辑

pgspider pg_cron 以及cstore fdw docker 镜像
摘要:citus 开源的好几个pg fdw 都是很不错的扩展,以下是关于cstore 以及pg_cron 的扩展的docker 镜像 pg_cron dokerfile 同样是基于pgspider 的base 镜像 FROM dalongrong/pgspider:base as build WORKDI 阅读全文

posted @ 2020-02-23 20:51 荣锋亮 阅读(473) 评论(0) 推荐(0) 编辑

docker 几个不错的镜像加速地址
摘要:整理了几个不错的加速地址,后续有新的还会更新 几个地址 https://b3uey254.mirror.aliyuncs.com http://099430a4.m.daocloud.io https://registry.docker-cn.com https://reg-mirror.qiniu 阅读全文

posted @ 2020-02-22 21:19 荣锋亮 阅读(1417) 评论(1) 推荐(1) 编辑

pgspider kafka fdw docker 镜像
摘要:kafka fdw的镜像还是比较好制作的,已经提供好了,相关的包,只需要构建就可以了。 还是老样子,基于base 镜像 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-g 阅读全文

posted @ 2020-02-22 19:55 荣锋亮 阅读(374) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw docker 镜像的几点说明
摘要:clickhouse 的fdw 是基于odbc 开发的,同时也需要依赖libclickhouse 以下是对于构建中的一些说明 预备说明 实际上大部分官方文档已经提供了 odbc 说明 需要下载编译好的,地址https://github.com/ClickHouse/clickhouse-odbc/r 阅读全文

posted @ 2020-02-22 12:47 荣锋亮 阅读(560) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw 试用
摘要:昨天有构建过一个clickhouse 的fdw docker 镜像,今天测试下 环境使用docker-compose 运行,clickhouse 同样也是 环境准备 docker-compose 环境 version: "3" services: server: image: yandex/clic 阅读全文

posted @ 2020-02-22 12:30 荣锋亮 阅读(668) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw docker 镜像
摘要:老样子集成base 镜像构建,以下是clickhouse dockerfile Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y openss 阅读全文

posted @ 2020-02-21 23:19 荣锋亮 阅读(349) 评论(0) 推荐(0) 编辑

上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 28 下一页

导航