数据仓库技术实现

数据仓库建设方案

传统数据仓库
大数据数据仓库

 

 

 

 

 

传统数仓

由关系型数据库组成MPP(大规模并行处理)集群

 

在数据没有达到某个量级的时候是非常优秀的解决方案，继承了单机数据库优异的性能，

 

大数据处理仓库

利用大数据天然的扩展性,完成海量数据的存放

将SQL转换为大数据计算引擎任务,完成数据分析

 

 

 

 

 

区别

MPP架构
传统数仓中常见的技术架构,将单机数据库节点组成集群,提升整体处理性能

节点间为非共享架构(Share Nothing),每个节点都有独立的磁盘石储系统和内存系统

每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供服务

设计上优先考虑C(一致性),其次考虑A(可用性),尽量做好P(分区容错性)

 

架构优点
运算方式精细,延迟低、吞吐低
适合中等规模的结构化数据处理

 

架构缺点
存储位置不透明,通过Hash确定数据所在的物理节点,查话面任务在所有节点均会执行
并行计算时,单节点瓶颈会成为整个系统短板,容错性差
分布式事务的实现会导致扩展性降低

 

 

 

 

 

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection

接口实现分离设计模式

Microsoft.Extensions.DependencyInjection