基于pgspider+ postgres fdw+ cube.js+hasura graphql-engine的数据分析&&展示方案

当前企业的数据分析需求是越来越多,同时需要自助以及灵活性也越来越多,我们急需灵活同时支持多数据源快速 
集成查询,以及快速可视化报表的处理,以下是集合自己的一些了解以及学习,梳理一个简单的数据分析以及数据 
展示方案

整体参考架构设计

 

 

各层说明

  • data mesh 层 
    主要是使用多种pg fdw 进行数据的集成多种数据源,同时可以添加以下而外的数据处理(比如物化试图,列式存储分析,数据转换)
  • 数据虚拟化层 
    基于pgspider,加速多种数据的的查询,提供提供数据源筛选能力,以及健康检查能力
  • 通用数据api 层 
    主要是基于hasura graphql-engine 以及cube.js 的多种数据api 提供能力(rest 以及graphql)
  • 安全以及api 路由层 
    基于api gatway(可以是openresty或者apisix 提供或者路由以及安全控制)
  • 数据展示层 
    可以基于cube.js 的都这报表数据展示能力以及graphql2chartjs 可以提供灵活的数据展示

说明

以上是一个简单的集成处理,还有好多细节的需要处理

参考资料

https://github.com/hasura/graphql2chartjs 
https://github.com/cube-js/cube.js 
https://github.com/hasura/graphql-engine 
https://github.com/rongfengliang/pgspider-docker 
https://hub.docker.com/repository/docker/dalongrong/pgspider 
https://github.com/pgspider/pgspider 
https://www.cnblogs.com/rongfengliang/p/12368353.html

posted on   荣锋亮  阅读(734)  评论(3编辑  收藏  举报

编辑推荐:
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· spring官宣接入deepseek,真的太香了~
历史上的今天:
2019-03-05 CONTINUOUS MIGRATION
2019-03-05 How to scale Complex Event Processing (CEP)/ Streaming SQL Systems?
2019-03-05 Understanding Complex Event Processing (CEP)/ Streaming SQL Operators with WSO2 CEP (Siddhi)
2019-03-05 Stream Processing 101: From SQL to Streaming SQL in 10 Minutes
2015-03-05 mysql 多行合并一列

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示