graphjin super-graph的升级版本
摘要：以前有大概介绍过super-graph 一个graphql 引擎，目前super-graph 不维护了，升级为了graphjin graphjin 更加方便灵活，支持的特性也是很多的 特性 pg，mysql8，yugabyte 复杂嵌套查询以及修改 更新的订阅 内建无限滚动 数据表结构自动学习 基于
阅读全文
posted @ 2021-01-08 22:59
随笔分类 - 数据虚拟化
araddon/qlbridge 集成go-memdb
摘要：使用araddon/qlbridge 我们可以开发一个通用的sql 引擎，go-memdb 是hashicorp 公司开发的 一个基于内存的支持事务的db，araddon/qlbridge 官方已经支持了go-memdb,以下是一个简单 的试用 环境准备 go.mod module demoapp
阅读全文
posted @ 2020-12-14 12:55
Materialize under the Hood
摘要：来自官方的一个简单介绍Materialize的工作原理，参考链接 https://materialize.io/materialize-under-the-hood/ Today we will take a bit of a tour of the moving parts that make u
阅读全文
posted @ 2020-11-01 13:18
materialize 参考架构
摘要：materialize 包含了materialized 服务，用来处理sql 交互以及sources 参考图 materialize内部结构 参考说明 从以上图我们至少可以了解下materialize的工具机制 参考资料 https://materialize.io/docs/overview/ar
阅读全文
posted @ 2020-11-01 12:38
materialize 试用
摘要：前边有大概介绍过materialize，以下是一个简单的试用（基于官方文档，官方同时也提供了容器的运行环境） 环境准备 docker-compose 文件 version: "3" services: materialize: image: materialize/materialized:v0.5
阅读全文
posted @ 2020-11-01 12:08
sftpgo 多功能高度可配置的sftp server
摘要：sftpgo 是一个很不错的多功能特性的sftp server 同时支持s3，webdav，gcs，本地文件系统 是一个很不错的mock server，同时也提供了强大的用户管理以及权限配置，同时源码也是很 值得学习的，有空了可以试用了 参考资料 https://github.com/drakkan
阅读全文
posted @ 2020-10-23 19:37
jdbc连接池工具与pg fdw连接的问题 二
摘要：上次有简单介绍过关于pg fdw 对于使用连接池故障的问题，经过几天的调试以及摸索 ，印证了上次说的关于 sql 预编译处理的，目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重，会造成db 异常 ，然后自动恢复， 同时会造成连接异常，如果还需要使用连接池比较推荐使用hikari，需要我们
阅读全文
posted @ 2020-10-15 20:29
jdbc连接池工具与pg fdw连接的问题
摘要：最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析，直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考 因为项目默认使用了alibaba 的druid 连接池工具发现没请求几
阅读全文
posted @ 2020-10-14 13:00
nessie 类似git 管理数据湖
摘要：nessie 是由dremio团队开源的一个类似git 管理数据湖的系统方案 支持的特性 类似git 模式的版本管理 跨表事物（基于iceberg） 开放式的数据湖支持 参考资料 https://projectnessie.org/ https://www.dremio.com/introducin
阅读全文
posted @ 2020-10-08 15:53
一些不错的开源大数据虚拟数据sql 查询引擎
摘要：以下就是一个简单的整理，核心在数据sql查询以及支持的联邦数据处理上 presto 一个通用的sql on anything 工具 apache drill 很不错的多数据源sql 查询引擎，schema on fly dremio 很不错，从官方文档看有点对标presto，但是dremio 更强大
阅读全文
posted @ 2020-10-08 09:58
What Is a Data Lake Engine?
摘要：转自:https://www.dremio.com/what-is-a-data-lake-engine/ A data lake engine is an open source software solution or cloud service that provides critical c
阅读全文
posted @ 2020-10-08 09:38
apache knox apache hdaoop 生态的rest api && 应用网关
摘要：apache knox apache hdaoop 是生态中的一个est api && 应用网关，以下是一张来自官方的参考图，提供了组件的说明 参考组件 说明 apache knox 是apache hadoop 生态中一个很不错的工具，值得试用 参考资料 https://knox.apache.o
阅读全文
posted @ 2020-09-23 19:18
pgspider clickhouse fdw v2 版本
摘要：此版本是基于clickhouse 的http 以及binary 协议更灵活高效 环境准备 dockefile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y li
阅读全文
posted @ 2020-06-11 23:27
几款不错的基于web 的sql编辑器
摘要：整理几个不错的基于web 的sql编辑器 hue 参考资料 https://github.com/cloudera/hue，不错很强大，数据Cloudera Data Platform 的一部分 sqlpad 参考资料 https://github.com/rickbergfalk/sqlpad 支
阅读全文
posted @ 2020-04-22 09:12
