MPP数据库,GreenPlum数据库介绍

MPP数据库定义
MPP即大规模并行处理(Massively Parallel Processor )。 在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据 库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。

 

大规模并行处理(MPP)架构 

 

 

Vertica无共享MPP的特点 

无特殊节点
所有节点对等
可通过任意节点查询或加载数据
实时加载与查询同步进行
目前常见的MPP架构数据库

1.GREENPLUM

2.DB2 DPF架构数据库

3.vertica mpp数据库

为什么选择MPP
• PB级别的分析需求
传统数据库无法支持大规模集群与PB级别数据量
性能受限
扩展性受限
成本高昂
• 软硬件一体机成本高昂、扩展受限
生产扩容、测试、开发、容灾都需新购同型号一体机(机柜)
跨代兼容性问题
• In-memory技术太贵而且不成熟
内存成本高
TB级别以下,不适合大数据量
• Hadoop技术的先天不足
Hive等sql-on-hadoop性能太慢
SQL兼容性与支持不足
数据安全性无法保证
大数据​之惑,面对越来越庞大的数据,企业如何利用好大数据值得思考,Hadoop,MPP,PPT在精彩,还是一步步的转变。
-----------------------------------
MPP数据库
https://blog.51cto.com/u_11979904/5675914

GreenPlum数据库介绍_gp数据库全称是什么-CSDN博客

一、GP数据库简介

GP(GreenPlum)是业界最快最高性价比的关系型分布式数据库,它在开源的PG(PostgreSql)的基础上采用MPP架构(Massive Parallel Processing,海量并行处理),具有强大的大规模数据分析任务处理能力。
GP作为大数据融合存储平台中众多数据库之一,与其他数据库系统和文件系统一起,为OceanMind提供完整的OceanStorage大数据融合存储解决方案。

二、GP的特点

  1. 海量存储
    GreepPlum支持50PB(1PB=1024TB)级海量数据的存储和管理,GreenPlum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。
  2. 高并发
    Greenplum提供资源管理功能 (workload managemnt)来管理数据库资源,利用资源队列管理可实现按用户组的进行资源分配,如 Session同时激活数、最大资源值等。通过资源管理功能,可以按用户级别进行资源分配和管理用户SQL查询优先级别,同时也能防止低质量SQL(如没有条件的多表join等)对系统资源的消耗。
  3. 高性价比
    GreenPlum数据库软件系统节点基于业界各种开放式硬件平台,如SUN/HP/DELL等厂商的PC Sercer等,在普通的x86Sercer上就能达到很高的性能,因此性价比很高,相比于其他封闭式数据仓库的专用系统,Greenplum每TB的投资是前者的1/5甚至更低,同样,Greenplum产品的维护成本相比较于同类厂商也低很多。
  4. 系统易用
    GreenPlum产品是基于流行的PostgreSql之上开发,几乎所有的Postgresql客户端工具及PostgreSQL应用都能运行在Greenplum平台上,在Internet上由着丰富的PostgreSQL资源供用户参考。
  5. 高可用性
    Greenplum是高可用的系统,在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外, Greenplum还提供数据库层 Mirror机制保护,即每个节点数据在另外的节点中同步 镜像,单个节点的错误不影响整个系统的使用。
    对于主节点, Greenplum提供 Master/Stand by机制进行主节点容错,当主节点发生错误时,可以切换到Stand by节点继续服务。
  6. 反应速度快
    Greenplum通过准实时、实时的数据加载方式,实现数据仓库的实时更新,进而实现动态数据仓库(ADW)。基于动态数据仓库,业务用户能对当前业务数据进行BI实时分析-“Just In Time BI”,能够让企业敏锐感知市场的变化,加快决策支持反应速度。

三、应用生态


(图片来自:https://www.jianshu.com/p/b2c286f9b128)

更多介绍可参看如下地址:Greenplum详细介绍

posted @ 2023-09-29 17:04  CharyGao  阅读(700)  评论(0编辑  收藏  举报