02 2020 档案

arkade 一键式 安装 kube app 的 cl
摘要：使用arkade 可以简化我们不是charts 以及app 到k8s 集群中，arkade 安装以及使用都是比较简单的 安装 curl -sLS https://dl.get-arkade.dev | sudo sh 命令 arkade install - install an app arkade 阅读全文

posted @ 2020-02-29 19:39 荣锋亮 阅读(815) 评论(0) 推荐(0) 编辑

hasura graphql-engine ha 以及自动缩放的一些参考资料
摘要：一张参数图 通过此参考图，我们基本也就可以了解到关于hasura graphql-engine 如何提高稳定以及扩展 说明 如下的参考资料有关于autoscale 的一些问题说明，以及内部的一些设计，是很不错的资料 参考资料 https://github.com/hasura/graphql-eng 阅读全文

posted @ 2020-02-28 10:15 荣锋亮 阅读(319) 评论(0) 推荐(0) 编辑

hasura graphql-engine v1.2.0 beta 版本
摘要：hasura graphql-engine v1.2.0 提供了一个很不错的功能action，这个也是目前其他graphql 没有hasura 强大的 地方，使用action 我们可以更好的扩展hasura，添加一个业务逻辑，因为当前来说，我们对于hasura 可控性不是 很好（尤其在业务处理上，基 阅读全文

posted @ 2020-02-28 09:49 荣锋亮 阅读(461) 评论(0) 推荐(0) 编辑

postgres http fdw + plv8+pg_cron 处理数据
摘要：昨天有简单写过使用http fdw+plv8 处理数据的，以下是一个结合pg_cron 的 场景： 使用pg_cron 每隔一分钟操作此获取ip 的操作，ip 获取通过http fdw 处理，同时结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-28 09:15 荣锋亮 阅读(453) 评论(0) 推荐(0) 编辑

postgres http fdw + plv8 处理数据
摘要：原理很简单就是就有http fdw 获取数据，然后结合plv8 处理json 数据 环境准备 docker-compose 文件 version: "3" services: pgspider-fdw: image: dalongrong/pgspider:gzip-http-plv8 ports: 阅读全文

posted @ 2020-02-27 23:20 荣锋亮 阅读(879) 评论(0) 推荐(0) 编辑

pgspider http fdw http 相关的几个配置参数
摘要：http 请求时间配置 session 级别的 set http.timeout_msec = 10000; SELECT http_set_curlopt('CURLOPT_TIMEOUT', '10'); 全局级别的 ALTER DATABASE postgres SET "http.timeo 阅读全文

posted @ 2020-02-27 19:29 荣锋亮 阅读(374) 评论(0) 推荐(0) 编辑

pgspider gzip fdw试用(集成gzip+http+graphql-engine)
摘要：gzip 也是一个在实际中比较有用的处理工具，可以减少数据传输，以下是集成gzip http 以及plv8 的处理 gzip Docker 镜像 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get up 阅读全文

posted @ 2020-02-27 16:40 荣锋亮 阅读(447) 评论(0) 推荐(0) 编辑

minio gateway 代理s3 存储
摘要：以前有写过使用minio gataway 代理nas 的，实际上还可以代理s3 ，hdfs。。。。，以下是一个gatway 带来nas 以及s3 集成的模式 环境准备 docker-compose文件 version: "3" services: gateway: image: minio/mini 阅读全文

posted @ 2020-02-27 16:38 荣锋亮 阅读(3292) 评论(0) 推荐(0) 编辑

pgspider http fdw试用
摘要：pgsql-http 是一个很不错的 处理http 请求的扩展，我们可以用来方便的处理http 请求 以下是一个简单的试用（包括docker 镜像构建） pgsql-http 镜像 使用pgspider 的base 镜像 dockerfile FROM dalongrong/pgspider:bas 阅读全文

posted @ 2020-02-27 11:38 荣锋亮 阅读(518) 评论(0) 推荐(0) 编辑

一些pg fdw 版本过低的一些解决方法
摘要：最近在学习，测试一些主流的基于pg fdw 的数据访问机制，发现好多对于pg 10 pg 11 。。。 等基本就不支持了。 好久没有更新了，但是老版本还是比较稳定的，以下是一些自己的思考，做一个简单的记录 使用新版本pg 的postgres fdw 集成旧版本的 这种方式会形成一个数据访问的层级结构 阅读全文

posted @ 2020-02-26 19:40 荣锋亮 阅读(485) 评论(0) 推荐(0) 编辑

pgspider 一些ppt 截图
摘要：以下是一些关于pgspider的实践截图，供参考，可以进一步的了解pgspider 的设计以及解决的问题 一个场景 pgspider 技术概述 多租户特性 pgspider core 功能 pgspider 内部处理 push down 处理 push down 相关问题的处理 node 寻址的处理 阅读全文

posted @ 2020-02-26 18:27 荣锋亮 阅读(438) 评论(0) 推荐(0) 编辑

postgres cassandra_fdw 扩展试用
摘要：经过测试cassandra_fdw 对于pg11 支持哟问题，所以就参考官方的建议使用了pg 9.5 构建docker 镜像 cassandra_fdw docker 镜像 Dockerfile FROM postgres:9.5 as build WORKDIR /app RUN apt-get 阅读全文

posted @ 2020-02-26 17:58 荣锋亮 阅读(408) 评论(0) 推荐(0) 编辑

使用 postgres s3 fdw + cube.js 分析 csv 数据
摘要：昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的，今天简单试用下 环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: - 阅读全文

posted @ 2020-02-26 11:37 荣锋亮 阅读(492) 评论(0) 推荐(0) 编辑

cube.js 集成s3 的一种方法
摘要：同集成es 的问题一样，使用postgres s3 fdw 将s3的数据暴露为sql 可操作的数据，后边就是对于pg 的数据分析了 参考资料 https://github.com/rongfengliang/pg-s3-fdw-learning https://www.cnblogs.com/ron 阅读全文

posted @ 2020-02-25 19:48 荣锋亮 阅读(243) 评论(0) 推荐(0) 编辑

postgres s3 fdw 试用
摘要：s3 是一个很不错的文件存储系统，以下是一个简单的试用s3 fdw （使用https://github.com/smomni/s3_fdw_py）此版本兼容pg11 同时使用了python3 开发，使用multicorn （很强大） 环境准备 说明 s3_fdw 的docker 镜像以及原有的已经p 阅读全文

posted @ 2020-02-25 19:45 荣锋亮 阅读(795) 评论(0) 推荐(0) 编辑

cube.js 集成 elasticsearch 的一种变通方法
摘要：前边有介绍过cube.js 对于es 的支持（以及关于opendistro elasticsearch的bug）实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题，对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文 阅读全文

posted @ 2020-02-25 09:35 荣锋亮 阅读(424) 评论(0) 推荐(0) 编辑

使用postgres_fdw 串接elasticsearch fdw
摘要：目的很简单，主要还是elasticsearch fdw 的镜像太大，为了减少all-in-one 的大小，实现一个层级的数据模型 环境准备 docker-compose 文件 version: "3" services: elasticsearch: image: elasticsearch:7.6 阅读全文

posted @ 2020-02-25 09:12 荣锋亮 阅读(1010) 评论(0) 推荐(0) 编辑

postgres elasticsearch fdw 学习
摘要：es 的fdw 是基于multicorn（python扩展）开发的，官方的multicorn 版本已经很老了，对于pg 的高版本是不支持的 但是已经有人提供了支持新版本的包了,还是很不错的，基于python 开发fdw 简单方便 multicorn 支持的版本 apt-get install pos 阅读全文

posted @ 2020-02-24 18:52 荣锋亮 阅读(1481) 评论(0) 推荐(0) 编辑

使用vcpkg 管理c&&c++ 包
摘要：vcpkg 是微软开源的c以及c++ 包管理方案，跨平台，conan也是一个类似的方案，但是从github 上的star 来说 似乎vcpkg 更好，还有待仔细研究下 参考资料 https://github.com/microsoft/vcpkg https://github.com/conan-i 阅读全文

posted @ 2020-02-24 16:35 荣锋亮 阅读(747) 评论(0) 推荐(0) 编辑

postgres pg_cron 扩展连接远程pg server
摘要：pg_cron 是一个简单但是使用还算灵活的pg定时任务扩展，以下是一个remote insert 数据的简单试用 环境准备 docker-compose 注意demo，包含了好几个组件，cstore 以及graphql-engine 可以不用管，但是三者集成起来将会很强大的 version: '3 阅读全文

posted @ 2020-02-24 10:23 荣锋亮 阅读(594) 评论(0) 推荐(0) 编辑

hasura graphql-engine v1.1.0 发布了
摘要：hasura graphql-engine 的迭代速度还是很快的，5天前，发布了1.1.0 ，一个比较方便的特性是支持批量查询了 其他一些功能提升以及bug 修复可以参考官方的changelog 参考资料 https://github.com/hasura/graphql-engine/releas 阅读全文

posted @ 2020-02-24 09:26 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

使用 cstore fdw 加速hasura graphql-engine的查询
摘要：列式存储在数据分析（olap）上有天然的优势，以下是使用cstore fdw + hasura graphql-engine 加速 数据的分析 环境准备 docker-compose 文件 version: '3' services: graphql-engine: image: hasura/gr 阅读全文

posted @ 2020-02-24 09:22 荣锋亮 阅读(361) 评论(0) 推荐(0) 编辑

pgspider cstore fdw docker 镜像试用
摘要：cstore_fdw 是citus 团队开源的pg 列式存储扩展，可以加速我们的数据分析,关于列式存储以及行式存储的比较 可以参考下边连接的动图（来自clickhouse 官方网站） https://clickhouse.tech/docs/en/ 以下是关于cstore fdw 的简单使用 环境准 阅读全文

posted @ 2020-02-24 09:07 荣锋亮 阅读(427) 评论(0) 推荐(0) 编辑

postgres pg_cron 扩展试用
摘要：就是一个简单的试用，同时测试下docker 基础镜像 环境准备 docker-compose 文件 version: '3' services: pgspider-pg_cron: image: dalongrong/pgspider:pg_cron ports: - "5432:5432" env 阅读全文

posted @ 2020-02-23 21:36 荣锋亮 阅读(1209) 评论(0) 推荐(0) 编辑

pgspider pg_cron 以及cstore fdw docker 镜像
摘要：citus 开源的好几个pg fdw 都是很不错的扩展，以下是关于cstore 以及pg_cron 的扩展的docker 镜像 pg_cron dokerfile 同样是基于pgspider 的base 镜像 FROM dalongrong/pgspider:base as build WORKDI 阅读全文

posted @ 2020-02-23 20:51 荣锋亮 阅读(480) 评论(0) 推荐(0) 编辑

docker 几个不错的镜像加速地址
摘要：整理了几个不错的加速地址，后续有新的还会更新 几个地址 https://b3uey254.mirror.aliyuncs.com http://099430a4.m.daocloud.io https://registry.docker-cn.com https://reg-mirror.qiniu 阅读全文

posted @ 2020-02-22 21:19 荣锋亮 阅读(1445) 评论(1) 推荐(1) 编辑

chproxy 一个功能强大的clickhouse http 代理以及负载均衡中间件
摘要：chproxy 是基于golang 编写的clickhouse http 服务的代理以及负载均衡中间件，功能比较丰富 基于yaml 配置，对于多集群流量处理是一个很不错工具 参考资料 https://github.com/Vertamedia/chproxy 阅读全文

posted @ 2020-02-22 21:06 荣锋亮 阅读(5300) 评论(0) 推荐(0) 编辑

pgspider kafka fdw docker 镜像
摘要：kafka fdw的镜像还是比较好制作的，已经提供好了，相关的包，只需要构建就可以了。 还是老样子，基于base 镜像 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-g 阅读全文

posted @ 2020-02-22 19:55 荣锋亮 阅读(379) 评论(0) 推荐(0) 编辑

trickster 反向代理以及时序dashboard 加速中间件
摘要：trickster 是基于golang 编写的一个强大的反向代理cache 以及时序dashboard 加速中间价 包含的特性 tls 支持 提供了多种cache 层的存储支持（内存，文件系统，redis，bbolt） 高度灵活的配置 内置promethesu metrcis 支持 高性能 字节范围 阅读全文

posted @ 2020-02-22 19:41 荣锋亮 阅读(417) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw docker 镜像的几点说明
摘要：clickhouse 的fdw 是基于odbc 开发的，同时也需要依赖libclickhouse 以下是对于构建中的一些说明 预备说明 实际上大部分官方文档已经提供了 odbc 说明 需要下载编译好的，地址https://github.com/ClickHouse/clickhouse-odbc/r 阅读全文

posted @ 2020-02-22 12:47 荣锋亮 阅读(561) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw 试用
摘要：昨天有构建过一个clickhouse 的fdw docker 镜像，今天测试下 环境使用docker-compose 运行，clickhouse 同样也是 环境准备 docker-compose 环境 version: "3" services: server: image: yandex/clic 阅读全文

posted @ 2020-02-22 12:30 荣锋亮 阅读(669) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw docker 镜像
摘要：老样子集成base 镜像构建，以下是clickhouse dockerfile Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y openss 阅读全文

posted @ 2020-02-21 23:19 荣锋亮 阅读(353) 评论(0) 推荐(0) 编辑

cube.js 集成opendistro elasticsearch bug 的原因说明
摘要：通过直接调用elasticsearch 的nodejs sdk 发现问题的原因是opendistro sql 扩展对于sql 的支持与elasticsearch 官方的有差异，主要是数据返回格式上，看看是否有兼容的方案 阅读全文

posted @ 2020-02-19 11:27 荣锋亮 阅读(316) 评论(0) 推荐(0) 编辑

cube.js opendistro elasticsearch 试用以及几个bug
摘要：前边有说明，cube.js 已经es 以下是通过opendistro的一个简单的试用（没跑通，后边有时间可以尝试下找下原因） opendistro 环境准备 docker-compose 文件 注意es 版本，目前cube.js 是7.6 的es npm 包，所以最好是兼容的,因为部分版本还是有兼容 阅读全文

posted @ 2020-02-19 10:46 荣锋亮 阅读(805) 评论(0) 推荐(0) 编辑

cube.js 支持 elasticsearch
摘要：cube.js 已经支持es 的分析了， 原理是基于sql，因为cube.js 的核心就是基于sql 的处理，所以只要是能基于sql 的处理，基本上基于cube.js 都是可以扩展的，大概看了下，官方是通过elasticsearch 的sql api 支持的，同时对于amazon 的opendist 阅读全文

posted @ 2020-02-18 22:38 荣锋亮 阅读(359) 评论(0) 推荐(0) 编辑

cube.js schema 学习二
摘要：cube.js 从那发布，到现在也已经有了很大的变动了，比如多租户，多数据源的支持，同时schema 也有了好多新的 类型支持，以下是基于新版本的一个学习 通用格式参考 cube(`Users`, { sql: `select * from users`, ​ joins: { Organizati 阅读全文

posted @ 2020-02-18 21:58 荣锋亮 阅读(492) 评论(0) 推荐(0) 编辑

iperf3+ethr 测试网络工具
摘要：一般大家比较常用的是iperf，iperf3 是iperf 的升级版本，ethr 是微软开发的基于golang 的跨平台工具 以下是简单的使用 iperf3 server 启动 iperfs -s client iperf3 -c <ip> ethr 实际上与iperf3 类似，也都是-s -c ， 阅读全文

posted @ 2020-02-18 14:02 荣锋亮 阅读(863) 评论(0) 推荐(0) 编辑

cube.js 学习 cli 命令
摘要：平时经常用的cube.js 的命令主要是create 实际上还包含了其他方便的命令 create 生成cube.js 的脚手架app 命令使用 cubejs create APP-NAME -d DB-TYPE [-t TEMPLATE] 说明 -d 指定我们依赖的数据库类型 -t 指定模版 默认为 阅读全文

posted @ 2020-02-16 19:59 荣锋亮 阅读(401) 评论(0) 推荐(0) 编辑

cube.js 学习 cube 连接mongodb 试用三
摘要：前边有简单介绍过连接mongodb 的方法，如果觉得使用mongobi 比较费事，通过mongo fdw 也是一种很不错的方式 原理说明 通过postgres 的mongo fdw 连接mongo，对于mongo 的数据访问，我们就可以直接使用pg 的drriver了，后边的操作 就是对于pg 的操 阅读全文

posted @ 2020-02-16 17:31 荣锋亮 阅读(382) 评论(0) 推荐(0) 编辑

cube.js 学习 cube 连接mongodb 试用二
摘要：以前有写过在我我cube.js 连接mongo 的（通过mongodb bi-connector），当时没有考虑安全的问题（账户&&ssl） 以下是关于基于账户认证以及ssl 问题的说明，以下是简单的集成说明 环境准备 docker-compose mongo version: "3" servic 阅读全文

posted @ 2020-02-16 12:35 荣锋亮 阅读(528) 评论(3) 推荐(0) 编辑

mongodb 通过sql 查询的几种方式
摘要：sql 2 mongodb query 这个一些开发工具已经是支持的，同时也有一些框架支持（目前所了解到的支持的一般） sql 查询引擎 drill，presto。。。。都是不错的方案 torodb 的stampede 这个是一个类似的cdc 解决方案，很不错，但是目前不维护了。。。 mongodb 阅读全文

posted @ 2020-02-15 21:09 荣锋亮 阅读(6652) 评论(0) 推荐(0) 编辑

mongodb bi-connector spring boot 集成试用
摘要：实际上没多少技术含量，就是spring data jdbc+mysql 数据访问而且，主要就是几个参数配置 spring boot 项目结构 使用官方的初始化器 代码结构 ├── HELP.md ├── demo.iml ├── mvnw ├── mvnw.cmd ├── pom.xml └── s 阅读全文

posted @ 2020-02-15 19:25 荣锋亮 阅读(537) 评论(0) 推荐(0) 编辑

mongodb bi-connector 使用
摘要：mongodb bi-connector 是一个方便的mongodb 2 sql 工具，我们可以使用sql 的强大查询能力，分析mongo的数据，以下是一些 简单操作，以及一些部署上的细节说明，后边会介绍spring boot 集成的说明 安装 为了方便测试使用本地docker 运行mongo+ 使 阅读全文

posted @ 2020-02-15 18:52 荣锋亮 阅读(3818) 评论(0) 推荐(0) 编辑

pgspider mongodb fdw 查询集成
摘要：前边有简单说过关于mongodb fdw 容器构建的，一些是一些使用上的简单说明 环境准备 docker-compose 文件 version: "3" services: pg-mongo: image: dalongrong/pgspider:mongo ports: - "5432:5432" 阅读全文

posted @ 2020-02-14 11:16 荣锋亮 阅读(546) 评论(0) 推荐(0) 编辑

zombodb 关于索引的几个问题
摘要：es 数据丢失（误删） 现象 此情况下，通过zombodb dsl 方式查询会有异常，数据库sql 模式没问题（数据库数据在） 解决 需要重建索引，命令REINDEX index <indexname> es 故障（服务不可用） 现象 通过zombodb dsl 查询会有一样，同时数据的insert 阅读全文

posted @ 2020-02-13 18:33 荣锋亮 阅读(368) 评论(0) 推荐(0) 编辑

pgspider zombodb+opendistro 集成
摘要：zombodb 默认对于es的连接是没有密码的，很不安全，可选的方式，基于nginx+basci auth 使用es 的X-Pack，使用amazon的opendistro 也是一个很不错的方案,以下是一个简单测试，同时 会有关于使用basic auth 模式的连接配置 注意，测试使用的pg zom 阅读全文

posted @ 2020-02-13 13:59 荣锋亮 阅读(391) 评论(0) 推荐(0) 编辑

pgspider zombodb集成使用
摘要：zombodb 是一个强大的pg 扩展，我们可以像操作数据库一样操作es，以下是pgspider 与zombodb 的构建 说明，使用最新版本v5.6.16-1.0.20 构建失败，使用了v.40 dockerfile 老样子基于已经构建好的pgspider base 镜像 FROM dalongr 阅读全文

posted @ 2020-02-13 11:41 荣锋亮 阅读(506) 评论(0) 推荐(0) 编辑

Writing a Foreign Data Wrapper
摘要：转自:greenplum 官方的一片文档 https://gpdb.docs.pivotal.io/6-0/admin_guide/external/g-devel-fdw.html pg 是类似的 This chapter outlines how to write a new foreign-d 阅读全文

posted @ 2020-02-13 08:25 荣锋亮 阅读(333) 评论(0) 推荐(0) 编辑

pgspider griddb fdw +plv8 集成使用
摘要：以下是一个简单的griddb fdw 与plv8 的集成，同时添加了node require 模块的支持，可以实现灵活的系统扩展 pgspider plv8 docker镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-02-12 18:55 荣锋亮 阅读(435) 评论(0) 推荐(0) 编辑

griddb 集群大小评估算法
摘要：griddb 官方提供了一套计算公式，我们可以用来方便的评估集群规模以及使用的资源大小 总内存使用 需要考虑的因素 row 数据的大小 需要注册的rows 评估公式 此为单collection 的，总的需要计算所有的集合 Memory capacity used = row data size × 阅读全文

posted @ 2020-02-12 09:35 荣锋亮 阅读(380) 评论(0) 推荐(0) 编辑

pgspider griddb fdw 通过固定列表server 连接配置
摘要：对于实际使用可靠，稳定是大家比较关心的问题，从过年griddb fdw github 文档上我们看到的就是 可以使用多播地址以及固定ip notificationMember 信息，实际上我们可以通过查看源码发现可以和 java 应用（实际上client sdk 一样）的配置多个ip，保证fdw 连 阅读全文

posted @ 2020-02-12 08:41 荣锋亮 阅读(272) 评论(0) 推荐(0) 编辑

griddb java 应用连接配置
摘要：默认如果大家去看官方介绍，会推荐我们使用基于多播的ip 配置进行链接，但是很多时候不是很好（环境不支持） 可选的方式有： 指定多notificationMember，这个官方文档暂时没找到，但是通过查看java client 的源码，我们发现可以直接多个方式为, 分割 使用lb（理论上是没有问题的， 阅读全文

posted @ 2020-02-11 14:45 荣锋亮 阅读(357) 评论(0) 推荐(0) 编辑

griddb 集群简单学习
摘要：griddb集群可以使用多种方式部署 多播集群 静态配置（固定列表） url 地址provider 以下是一个简单的基于固定node 节点列表的模式部署 环境准备 为了方便使用docker-compose 部署，同时使用估计ip 分配模式 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-11 13:06 荣锋亮 阅读(938) 评论(0) 推荐(0) 编辑

pgspider redis fdw pub && sub 试用
摘要：redis fdw 封装的redis 操作功能还是比较强大的，同时支持通过insert 的方式publish messag 以下是一个简单的学习（但是按照原理应该也是可以sub的 （select message，细节可以看看源码）） 环境准备 dockerc-compose 文件 version: 阅读全文

posted @ 2020-02-11 10:28 荣锋亮 阅读(404) 评论(0) 推荐(0) 编辑

pgspider redis fdw 试用
摘要：目前redis 的fdw有好几个，github 上有一个start 比较高的，但是对于新版本pg 支持不好，目前使用了 https://github.com/nahanni/rw_redis_fdw，以下是docker 镜像的构建以及试用 dockerfile 老样子基于base 镜像构建 FROM 阅读全文

posted @ 2020-02-11 09:11 荣锋亮 阅读(1071) 评论(0) 推荐(0) 编辑

pgspider oracle fdw docker 镜像简单使用说明
摘要：基于pgspider 的orcle fdw 已经制作了一个docker 镜像（今天通过测试，可用），以下是使用的简单说明 使用说明 // 创建扩展 CREATE EXTENSION oracle_fdw; // 创建server CREATE SERVER oradb FOREIGN DATA WR 阅读全文

posted @ 2020-02-10 17:30 荣锋亮 阅读(508) 评论(0) 推荐(0) 编辑

pgspider tds fdw sql server docker 镜像中文乱码问题解决
摘要：以下说明几个中文乱码的问题： 在直接使用linux sql server 因为默认为英文，所以会有中文编码的问题 因为系统使用freetds 配置问题（默认会结合操作系统进行语言处理，还有就是配置文件） 几种解决方法 修改docker 运行配置 version: "3" services: pg-t 阅读全文

posted @ 2020-02-10 16:42 荣锋亮 阅读(647) 评论(0) 推荐(0) 编辑

pgspider tds fdw sql server docker 镜像试用
摘要：前边有制作过一个tds 的fdw，以下是一个简单的试用 环境准备 docker-compose 文件 使用sql server Linux 版本 version: "3" services: pg-tds: image: dalongrong/pgspider:tds ports: - "5432: 阅读全文

posted @ 2020-02-09 22:23 荣锋亮 阅读(411) 评论(0) 推荐(0) 编辑

pgspider oracle docker 镜像
摘要：对于pg 有一个oracle_fdw的扩展，很不错，可以集成oracle 的数据访问，以下是docker 镜像的制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-ge 阅读全文

posted @ 2020-02-08 23:58 荣锋亮 阅读(298) 评论(0) 推荐(0) 编辑

pgspider 常用pg 扩展docker 镜像
摘要：在实际的使用中我们可能不只是一个简单的pg 扩展，而是使用多种，所以基于现有的构建了一个 支持mysql,mongo,sqlite,influxdb,griddb,sql server 的镜像（oracle 的后期尝试添加） Dockerfile FROM dalongrong/pgspider:b 阅读全文

posted @ 2020-02-07 21:55 荣锋亮 阅读(456) 评论(0) 推荐(0) 编辑

使用 pgspider griddb fdw 让griddb 支持hasura graphql-engine
摘要：原理很简单，就是通过griddb fdw 暴露griddb 的数据操作为正常的pg 操作，后然就可以使用hasura graphql-engine 了 参考环境准备 version: "3" services: graphql-engine: image: hasura/graphql-engine 阅读全文

posted @ 2020-02-07 16:10 荣锋亮 阅读(259) 评论(0) 推荐(0) 编辑

pgspider griddb 试用
摘要：前边有构建一个简单的pgspider griddb fdw 的docker 镜像，以下是一个简单的试用 一些说明 关于pgspider griddb fdw 的构建目前4.3 有bug，使用的是4.2版本的，同时对于java 链接使用member ip，不是广播地址ip 环境准备 griddb 自己 阅读全文

posted @ 2020-02-07 15:38 荣锋亮 阅读(360) 评论(0) 推荐(0) 编辑

pgspider griddb docker 镜像
摘要：pgspider 官方提供了griddb 的fdw，以下是docker 构建说明 Dockerfile 说明，都是基于base 镜像构建的 FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-ge 阅读全文

posted @ 2020-02-06 19:42 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

pgspider influxdb 扩展使用以及docker 镜像构建说明
摘要：influxdb 是官方提供的fdw，对于influxdb 的访问是通过cgo 直接到处golang 的调用为c 调用（实际上也有一个直接使用golang 编写pg 扩展的项目plgo） 一些说明 对于pgspider 的构建是通过一个base 镜像构建的，但是以为依赖golang 所以提供了一个额 阅读全文

posted @ 2020-02-06 15:25 荣锋亮 阅读(590) 评论(0) 推荐(0) 编辑

pgspider 其他扩展的集成
摘要：目前的测试，pgspider 对于pg 的侵入不大，很多已有的pg扩展都是可以使用的，所以基于比较常用的 添加了mongdb，sql server 等的容器镜像，构建比较简单，都是基于现有构建的base mongdb FROM dalongrong/pgspider:base as build WO 阅读全文

posted @ 2020-02-05 17:36 荣锋亮 阅读(336) 评论(0) 推荐(0) 编辑

pgspider 简单试用
摘要：前边已经构建好了，关于sqlite，mysql，以及默认的pg 的扩展，以下是一个简单的学习试用 环境准备 为了简单目前只测试关于pg的，后边会学习关于mysql的 docker-compose 文件 version: "3" services: pg-core: image: dalongrong 阅读全文

posted @ 2020-02-05 13:46 荣锋亮 阅读(425) 评论(0) 推荐(0) 编辑

pgspider sqlite mysql docker 镜像
摘要：昨天有基于官方制作了只包含core 的docker 镜像，同时我们也需要sqlite 以及mysql的 所以提取了一个base 镜像，为了减少镜像的大小，使用了多阶段构建，方便后边sqlte 以及mysql 镜像的更新，以及重新构建，对于influxdb的docker 镜像，后边也会提供 base 阅读全文

posted @ 2020-02-05 11:29 荣锋亮 阅读(828) 评论(0) 推荐(0) 编辑

pgspider docker 镜像
摘要：今天在使用docker构建pgspider 的时候发现了一个bug，已经提交官方，同时官方团队还是不错的，已经修改了 以下是docker 镜像构建的内容 Dockerfile 说明，基本都来自postgres 官方的，只是进行了一些关于pgspider的修改 FROM debian:stretch- 阅读全文

posted @ 2020-02-04 23:23 荣锋亮 阅读(546) 评论(0) 推荐(0) 编辑

pgspider基于pg 的高性能数据可视化sql 集群引擎
摘要：pgspider 是在pg 源码中直接打的patch，增强了FDW 的功能 执行的特性 多租户 并行处理 数据下推 说明 pgspider 是一个很不错的扩展，目前官方已经支持了sqlite，mysql，influxdb 等数据库 参考资料 https://github.com/pgspider/p 阅读全文

posted @ 2020-02-04 19:51 荣锋亮 阅读(553) 评论(0) 推荐(0) 编辑

diesel rust orm 框架试用
摘要：diesel 是一个不错的rust orm框架，提供了cli ，可以方便的进行migration 操作，以及帮助代码生成 以下是一个简单的试用 安装cli 注意需要最新的stable 版本，数据库使用docker-compose 运行 cargo install diesel_cli 项目准备 do 阅读全文

posted @ 2020-02-03 18:04 荣锋亮 阅读(5755) 评论(0) 推荐(0) 编辑

golang 条件编译
摘要：很多时候对于不同的平台需要编写不同的代码，可选的方式 build tag 参考格式 // +build 对于平台处理的例子 // +build linux,386 darwin,!cgo 文件后缀 参考格式 _$GOOS.go _$GOOS_$GOARCH.go 参考例子 mypkg_freebsd 阅读全文

posted @ 2020-02-02 13:12 荣锋亮 阅读(514) 评论(0) 推荐(0) 编辑

Performance Profiling Zeebe
摘要：转自：https://zeebe.io/blog/2019/12/zeebe-performance-profiling/ by Josh Wulf and Klaus Nji on Dec 22 2019 in BenchmarksPerformance. We frequently get qu 阅读全文

posted @ 2020-02-01 19:59 荣锋亮 阅读(365) 评论(0) 推荐(0) 编辑

bazel 学习一 简单java 项目运行
摘要：bazel 是一个很不错的软件构建工具，强大，以下是一个简单java 项目的运行 环境准备 bazel 安装 结合自己的操作系统，参考官方文档安装,github 上已经提供了多平台构建好的软件包了 java 项目结构 就是一个标准的maven 项目，暂时没有使用maven 的依赖，只是简单的mave 阅读全文

posted @ 2020-02-01 19:10 荣锋亮 阅读(2093) 评论(0) 推荐(1) 编辑

一个好用node http keeplive agnet
摘要：agentkeepalive 在node 原有的http agent 上有好多扩展，可以有效的复用http 连接，是一个比较推荐的对于node>=8 的agent 替换方案 参考资料 https://github.com/node-modules/agentkeepalive 阅读全文

posted @ 2020-02-01 09:49 荣锋亮 阅读(316) 评论(0) 推荐(0) 编辑

导航