基于pgspider+ postgres fdw+ cube.js+hasura graphql-engine的数据分析&&展示方案
当前企业的数据分析需求是越来越多,同时需要自助以及灵活性也越来越多,我们急需灵活同时支持多数据源快速
集成查询,以及快速可视化报表的处理,以下是集合自己的一些了解以及学习,梳理一个简单的数据分析以及数据
展示方案
整体参考架构设计
各层说明
- data mesh 层
主要是使用多种pg fdw 进行数据的集成多种数据源,同时可以添加以下而外的数据处理(比如物化试图,列式存储分析,数据转换) - 数据虚拟化层
基于pgspider,加速多种数据的的查询,提供提供数据源筛选能力,以及健康检查能力 - 通用数据api 层
主要是基于hasura graphql-engine 以及cube.js 的多种数据api 提供能力(rest 以及graphql) - 安全以及api 路由层
基于api gatway(可以是openresty或者apisix 提供或者路由以及安全控制) - 数据展示层
可以基于cube.js 的都这报表数据展示能力以及graphql2chartjs 可以提供灵活的数据展示
说明
以上是一个简单的集成处理,还有好多细节的需要处理
参考资料
https://github.com/hasura/graphql2chartjs
https://github.com/cube-js/cube.js
https://github.com/hasura/graphql-engine
https://github.com/rongfengliang/pgspider-docker
https://hub.docker.com/repository/docker/dalongrong/pgspider
https://github.com/pgspider/pgspider
https://www.cnblogs.com/rongfengliang/p/12368353.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· spring官宣接入deepseek,真的太香了~
2019-03-05 CONTINUOUS MIGRATION
2019-03-05 How to scale Complex Event Processing (CEP)/ Streaming SQL Systems?
2019-03-05 Understanding Complex Event Processing (CEP)/ Streaming SQL Operators with WSO2 CEP (Siddhi)
2019-03-05 Stream Processing 101: From SQL to Streaming SQL in 10 Minutes
2015-03-05 mysql 多行合并一列