基于pgspider+ postgres fdw+ cube.js+hasura graphql-engine的数据分析&&展示方案

当前企业的数据分析需求是越来越多，同时需要自助以及灵活性也越来越多，我们急需灵活同时支持多数据源快速 
集成查询，以及快速可视化报表的处理，以下是集合自己的一些了解以及学习，梳理一个简单的数据分析以及数据 
展示方案

整体参考架构设计

 

 

各层说明

• data mesh 层 
  主要是使用多种pg fdw 进行数据的集成多种数据源，同时可以添加以下而外的数据处理（比如物化试图，列式存储分析，数据转换）
• 数据虚拟化层 
  基于pgspider，加速多种数据的的查询，提供提供数据源筛选能力，以及健康检查能力
• 通用数据api 层 
  主要是基于hasura graphql-engine 以及cube.js 的多种数据api 提供能力（rest 以及graphql）
• 安全以及api 路由层 
  基于api gatway（可以是openresty或者apisix 提供或者路由以及安全控制）
• 数据展示层 
  可以基于cube.js 的都这报表数据展示能力以及graphql2chartjs 可以提供灵活的数据展示

说明

以上是一个简单的集成处理，还有好多细节的需要处理

参考资料

https://github.com/hasura/graphql2chartjs 
https://github.com/cube-js/cube.js 
https://github.com/hasura/graphql-engine 
https://github.com/rongfengliang/pgspider-docker 
https://hub.docker.com/repository/docker/dalongrong/pgspider 
https://github.com/pgspider/pgspider 
https://www.cnblogs.com/rongfengliang/p/12368353.html