12 2024 档案
摘要：初次接触openGauss或GaussDB数据库的逻辑对象，被其中的表空间、数据库、schema和用户之间的关系，以及授权管理困惑住了，与熟悉的MySQL数据库的逻辑对象又有明显的不同。本文旨在简要梳理下GaussDB数据库逻辑对象之间的关系，以加深理解。 1、GaussDB数据库逻辑对象 1.1
阅读全文
摘要： 1.逻辑备份-gs_dump gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。 备份sql语句 gs_dump是openGauss用于导出数据库相关信息的工具，用户可以自定义导出一个数据库或其中的对
阅读全文
摘要：一、前言 GaussDB是华为自主创新研发的分布式关系型数据库，具有高性能、高安全、高可用、高弹性、高智能特点。 在这篇文章中，我们将探讨在GaussDB数据库中使用复合查询的技术。复合查询是SQL查询的一个高级特性，它允许用户通过结合多个简单查询来执行更复杂的数据检索操作。这种查询通常涉及使用UN
阅读全文
摘要： 前言 本期课程将从管理平台的架构出发，结合平台的实例管理、实例升级、容灾管理和监控告警的功能和操作介绍，全面覆盖日常运维操作，带您理解并熟练运用GaussDB运维平台完成运维工作。 一、GaussDB 运维管理平台简介 开放生态层 友好Web界面，多云皮肤个性化定制 丰富的原子API 公有云、合
阅读全文
摘要：云原生为迎接智能化提供了基础条件，智能化是GaussDB的新的牵引方向，两者相辅相成，互相促进。在智能化出现之前，数据库的运维管理主要依赖分层解耦、化繁为简方式来治理，通过人工服务对单点的业务进行管理。但在云化环境中，一个Region纳管上万实例，仅靠人工很难满足业务诉求，这就促成智能与数据库在云原
阅读全文
摘要：密态等值查询属于密态数据库第一阶段方案，但是遵从密态数据库总体架构。 密态数据库的总体架构示意图如下图所示。密态数据库的完整形态包括密码学方案和软硬结合方案。 图8 密态数据库总体架构 由于密态等值查询仅涉及到软件部分，仅需集成密态数据库总体架构的软件部分，其总体实现方案如下图所示。 图9 密态等值
阅读全文
摘要：一、数据导入导出场景划分 gsql工具适用场景和使用方法 适用场景 文本格式对象定义的创建 使用方法 gsql -d db1 -p 16000 -U u1 -W Huawei@123 -f/data/table.sql 示例： ALTER SESSION SET CURRENT_SCHEMA = P
阅读全文
摘要：GaussDB在架构设计上，采用组件化原则，分为GaussDB Kernel内核和GaussDB Kernel OM两部分。在产品形态上，提供面向云数据库服务GaussDB的分布式安装包和集中式安装包，提供面向本地化安装的小型化安装包。根据华为云提供的调查报告，当前全球数据库市场增长超预期，云是数据
阅读全文
摘要： 前沿 SQL于关系型数据库而言，重要性不言而喻。就像一个乐团的指挥，指导着作品的正确演绎和节奏的和谐统一。华为云GaussDB作为新一代关系型分布式数据库，具备卓越的技术性能和行业竞争力。很多人对GaussDB的关键技术很好奇： GaussDB SQL语句到底是如何执行的？ GaussDB SQ
阅读全文
摘要：GaussDB Kernel V5 OM运维管理关键模块如下。 OM 运维主要功能有：安装升级节点替换扩容、缩容自动告警巡检备份恢复、容灾日志分析系统在华为云的部署模式下，OM相关组件部署示意图如下： 图7 华为云OM运维管理 用户登录华为云Console，访问GaussDB Kernel V5的管
阅读全文
摘要：一、前言 SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。 本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。 二、GaussDB数据库中的常量和变量的基本概述及语法定义 数据库中的变量和常量是两种重
阅读全文
摘要：一、前言 SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。 本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。 二、CASE Expression（CASE表达式）介绍 在GaussDB SQL中，C
阅读全文
摘要： 目录 一、实验环境 二、登录华为云创建测试库表 1、登录GaussDB云数据库 2、建库、建表,用于测试 3、新增普通角色（用户）用于登录及访问测试（可选） 4、获取对应的公网IP 三、创建java工程 1、创建java工程 2、添加jar包 3、编辑Java代码 四、执行并查看测试结果 一、实
阅读全文
摘要：@目录问题描述问题现象告警业务影响原因分析分析步骤分析定位方法步骤一步骤二步骤三步骤四CPU满I/O满或者I/O异常内存满网络异常步骤五并发问题数据库配置问题异常等待事件长时间性能下降短时性能抖动不优SQL 问题描述 整体性能慢。不满足客户作业对时延要求或者不满足客户预期。 问题现象 业务反馈业务接
阅读全文
摘要：一、前言 随着互联网的快速发展，数据量呈现爆炸式增长。如何高效地管理和查询这些数据成为了企业面临的重要问题。而数据库索引作为数据库优化的关键手段之一，对于提高数据库性能和查询效率具有重要作用。本文将介绍GaussDB云数据库的索引创建和管理方法，并结合实际应用场景进行分析。 二、注意事项 索引建立在
阅读全文
摘要： 一、前言 GaussDB是一款基于云计算技术的高性能关系型数据库，支持多种数据模型和分布式架构。在GaussDB中，视图管理是非常重要的一项功能，它可以帮助用户更方便地管理和查询数据。 数据库视图管理是指对数据库中的视图进行创建、修改、删除、查询等操作的过程。 二、准备条件 参考上一篇文章《Ga
阅读全文
摘要： 目录 一、前言 二、前提条件 1、连接数据库实例 2、GaussDB实例正常运行 三、操作示例 1、选择实例并进入SQL执行界面 2、创建数据库用户 3、创建数据库 4、创建SCHEMA 5、创建表（增删改查） 1）创建3张表，并初始化一些数据 2）假设查询场景，并通过SQL 实现 一、前言 随
阅读全文
摘要： 前言 GaussDB数据库定时任务主要可以用于实现定期的备份、统计信息采集、数据汇总、数据清理与优化等，它是指在指定的时间间隔内自动执行一次或多次SQL语句的程序。 一、GaussDB数据库定时任务介绍 GaussDB数据库兼容Oracle定时任务功能主要通过DBE_TASK高级功能包提供的二次
阅读全文
摘要：问题现象 数据库进程内存占比较高 长时间占比较高 观察监控平台内存占用的变化曲线，无论当前数据库是否有业务在运行，数据库进程内存占总机器内存的比例长时间处于较高状态，且不下降。 执行作业期间占比较高 数据库进程在没有业务执行时，内存使用持续处于较低的状态，当有业务执行时，内存占用升高，待作业执行结束
阅读全文
摘要：问题现象 使用分区表进行相关查询业务，SQL性能慢。 原因分析 导致分区表业务慢的常见原因有以下几种： 分区索引失效，顺序扫描导致的SQL性能慢 分区表无法进行分区剪枝导致的SQL性能慢 SQL计划选择非最优导致的SQL性能慢 处理方法 判断是否存在索引异常的行为 部分分区DDL如果不带UPDATE
阅读全文
摘要： 背景 GaussDB是华为公司倾力打造的自研企业级分布式关系型数据库，该产品具备企业级复杂事务混合负载能力，同时支持优异的分布式事务，同城跨AZ部署，数据0丢失，支持1000+扩展能力，PB级海量存储等企业级数据库特性。拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等
阅读全文
摘要：什么是GaussDB 简介 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力
阅读全文
摘要： 在数据库世界里，查询重写是提升性能的关键环节。WeTune作为一款革命性工具，能自动发现新重写规则，打破现有系统依赖人工发现重写规则的局限，大幅提升数据库查询性能。 上海交通大学软件学院副院长王肇国和高斯实验室GaussDB数据库优化器专家Ethan联手开展了一场以《智能优化揭秘——GaussD
阅读全文
摘要： 最近看到一篇《我说MySQL每张表最好不要超过2000万数据，面试官让我回去等通知》的文章，非常有趣。 文中提到，他朋友在面试的过程中说，自己的工作就是把用户操作信息存到MySQL里，因为数据量超大（5000万条左右），需要每天定时生成3张表，然后将数据取模分别存到这三张表里。 下面是两人的对话
阅读全文
摘要： 背景 对数据库集群内资源管控与资源隔离一直是企业客户长久以来的诉求。华为云GaussDB作为一款企业级分布式数据库，一直致力于满足企业对大型数据库集群的管理需要。 数据库可以管理的资源有计算资源与存储资源，计算资源包括CPU、内存、IO与网络，存储资源包括数据存储空间、日志存储空间与临时文件等。
阅读全文
摘要： D-SMART高斯专版已经开发了几个月了，目前主要技术问题都已经解决，也能够初步看到大概的面貌了。有朋友问我，GaussDB不已经有了TPOPS了，为什么你们还要开发D-SMART高斯专版呢？ 实际上TPOPS和D-SMART虽然都可以用于Gaussdb的运维监控，不过其分工还是十分明显的。TP
阅读全文
摘要：万物互联的态势下，数据量的激增使得“如何提升数据处理性能”成为各家数据库共同面临的挑战。作为编译优化技术的代表，基于LLVM的CodeGen技术，能为每个查询生成定制的机器码替代原本的通用函数，减少实际查询时冗余的条件逻辑判断、虚函数调用并提高数据局域性，从而达到提升查询整体性能的目的，成为数据库性
阅读全文
摘要： 一、引言 事务管理是数据库系统中至关重要的一部分，它确保了数据库的一致性和可靠性。在GaussDB数据库中，事务管理不仅遵循传统的ACID特性，还提供了一些高级功能。本文将深入探讨GaussDB数据库事务管理的各个方面。 二、事务的基本概念 2.1 事务的定义 事务是数据库操作的基本单元，它是一
阅读全文
摘要：问题描述 CPU利用率是衡量系统负载和健康度的重要指标之一，系统在运行过程中时常发生CPU利用率高的情况。在分析性能问题时，可通过火焰图查看CPU耗时，了解瓶颈在哪里。 问题现象 部分sql执行速度不符合预期。 告警 慢sql告警。 cpu使用率高告警。 数据库整体运行慢。 业务影响 业务性能差。
阅读全文
摘要：一、前言 行存表和列存表是数据库中两种常见的数据存储方式。随着信息技术的飞速发展，数据存储和管理以及如何高效地存储和处理大量的数据已经成为了我们的一大挑战。 为了解决这个问题，行存表与列存表应运而生，它们以其独特的优势在各个场景得到了高效的应用。GaussDB支持行、列存储，本文将简单给大家介绍一下
阅读全文
摘要：问题描述 CPU使用率高。 问题现象 出现CPU使用率超过阈值，CPU使用率快速上涨或短时间持续较高水平等现象。 告警 CPU使用率告警。 业务影响 CPU使用率高集群响应变慢。 原因分析 期间业务压力增大导致。 出现CPU耗时较多的SQL。 处理方法 步骤 1 查看监控是某个节点的CPU高还是集群
阅读全文
摘要：@目录简介内容描述实验环境说明1 GaussDB数据库购买1.1 实验介绍1.1.1 关于本实验1.1.2 实验目的1.2 购买GaussDB数据库1.2.1 登录华为云1.2.2 购买华为云GaussDB数据库 简介 本指导书适用于在华为云部署购买GaussDB数据库，通过该指导书可以顺利完成Ga
阅读全文
摘要：@目录一、前言二、GaussDB中的定义三、存储过程的使用场景四、存储过程的使用优缺点五、存储过程的示例及示例解析1、GaussDB存储过程语法格式2、GaussDB存储过程语法示例3、存储过程的调用方法七、总结 一、前言 华为云数据库GaussDB是一款高性能、高安全性的云原生数据库，在数据库领域
阅读全文
摘要： 目录 一、函数在数据库中的作用 二、GaussDB常用基础函数介绍与示例 1、数字操作函数 2、时间和日期处理函数 3、类型转换函数 4、数组函数 5、范围函数 6、窗口函数 7、聚集函数 8、安全函数 9、系统信息函数 10、动态脱敏函数. Tip：由于篇幅缘故，“5.范围函数、6.窗口函数、
阅读全文
摘要：@目录一、GaussDB 数据库二、数据类型概念及特点三、常用数据类型1、常用字符串类型介绍2、布尔类型3、数值类型4、日期/时间类型四、数据类型选择建议 一、GaussDB 数据库 GaussDB是华为基于openGauss自研生态推出的云化企业级分布式关系型数据库，它支持多种数据类型，包括数值、
阅读全文
摘要：@目录一、数据类型转换场景二、数据类型转换及示例1、cast(value AS type)2、to_date(text)3、to_date(text,format)4、to_char(datetime, format)5、to_char(string)6、CASE 表达式三、 小结 一、数据类型转换
阅读全文
摘要：@目录1 实验介绍2 实验目的3 配置DAS服务4 SQL使用入门 1 实验介绍 本实验主要描述如何通过华为云数据管理服务 (Data Admin Service，简称DAS) 来连接华为云GaussDB数据库实例，DAS是一款专业的简化数据库管理工具，提供优质的可视化操作界面，大幅提高工作效率，让
阅读全文
摘要： 目录 一、GaussDB的权限概述 二、GaussDB权限设计建议 三、GaussDB的GRANT命令 1.功能说明 2.注意事项 3.常用语法 四、GaussDB的REVOKE命令用法 1.功能说明 2.注意事项 3.常用语法 五、GaussDB示例 1.GRANT 语句示例 2.REVOKE
阅读全文
摘要：@目录1. 通过公网连接GaussDB1.1 实验介绍1.1.1 关于本实验1.1.2 实验目的1.2 购买GaussDB数据库（可选）1.3 公网IP绑定1.3.1 购买弹性公网IP1.3.2 绑定GaussDB数据库2 附录一：安装和配置JDK2.1 下载并安装JDK2.2 配置JDK环境变量
阅读全文
摘要：@目录题目具体操作一、表的创建二、表数据的插入三、数据查询 目的： 这里以学校数据库模型为例，介绍GaussDB数据库、表等常见操作，以及SQL语法使用的介绍。 题目 假设A市B学校为了加强对学校的管理，引入了华为GaussDB数据库。 在B学校里，主要涉及的对象有学生、教师、班级、院系和课程。本实
阅读全文
摘要：前言： 华为云数据库 GaussDB是一款拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。同时具有PB级海量数据存储、实时高效访问、自动化运维等特点，广泛应用于金融、电信、物流、电商、政体等行
阅读全文
摘要： 目录 一、实验环境 二、登录华为云创建测试库表 1、登录GaussDB云数据库 2、建库、建表,用于测试 3、新增普通角色（用户）用于登录及访问测试（可选） 4、获取对应的公网IP 三、创建java工程 1、创建java工程 2、添加jar包 3、编辑Java代码 四、执行并查看测试结果 一、实
阅读全文
摘要：@目录问题描述问题现象告警业务影响原因分析分析步骤分析定位方法步骤一步骤二步骤三步骤四CPU满I/O满或者I/O异常内存满网络异常步骤五并发问题数据库配置问题异常等待事件长时间性能下降短时性能抖动不优SQL 问题描述 整体性能慢。不满足客户作业对时延要求或者不满足客户预期。 问题现象 业务反馈业务接
阅读全文
摘要：一、前言 随着互联网的快速发展，数据量呈现爆炸式增长。如何高效地管理和查询这些数据成为了企业面临的重要问题。而数据库索引作为数据库优化的关键手段之一，对于提高数据库性能和查询效率具有重要作用。本文将介绍GaussDB云数据库的索引创建和管理方法，并结合实际应用场景进行分析。 二、注意事项 索引建立在
阅读全文
摘要： 一、前言 GaussDB是一款基于云计算技术的高性能关系型数据库，支持多种数据模型和分布式架构。在GaussDB中，视图管理是非常重要的一项功能，它可以帮助用户更方便地管理和查询数据。 数据库视图管理是指对数据库中的视图进行创建、修改、删除、查询等操作的过程。 二、准备条件 参考上一篇文章《Ga
阅读全文
摘要： 目录 一、前言 二、前提条件 1、连接数据库实例 2、GaussDB实例正常运行 三、操作示例 1、选择实例并进入SQL执行界面 2、创建数据库用户 3、创建数据库 4、创建SCHEMA 5、创建表（增删改查） 1）创建3张表，并初始化一些数据 2）假设查询场景，并通过SQL 实现 一、前言 随
阅读全文
摘要： 前言 GaussDB数据库定时任务主要可以用于实现定期的备份、统计信息采集、数据汇总、数据清理与优化等，它是指在指定的时间间隔内自动执行一次或多次SQL语句的程序。 一、GaussDB数据库定时任务介绍 GaussDB数据库兼容Oracle定时任务功能主要通过DBE_TASK高级功能包提供的二次
阅读全文
摘要：问题现象 数据库进程内存占比较高 长时间占比较高 观察监控平台内存占用的变化曲线，无论当前数据库是否有业务在运行，数据库进程内存占总机器内存的比例长时间处于较高状态，且不下降。 执行作业期间占比较高 数据库进程在没有业务执行时，内存使用持续处于较低的状态，当有业务执行时，内存占用升高，待作业执行结束
阅读全文
摘要：问题现象 使用分区表进行相关查询业务，SQL性能慢。 原因分析 导致分区表业务慢的常见原因有以下几种： 分区索引失效，顺序扫描导致的SQL性能慢 分区表无法进行分区剪枝导致的SQL性能慢 SQL计划选择非最优导致的SQL性能慢 处理方法 判断是否存在索引异常的行为 部分分区DDL如果不带UPDATE
阅读全文
摘要： 背景 GaussDB是华为公司倾力打造的自研企业级分布式关系型数据库，该产品具备企业级复杂事务混合负载能力，同时支持优异的分布式事务，同城跨AZ部署，数据0丢失，支持1000+扩展能力，PB级海量存储等企业级数据库特性。拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等
阅读全文
摘要：什么是GaussDB 简介 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力
阅读全文
摘要：一 、前言 传统的数据库管理软件，不仅需要下载安装、功能还比较单一，而且已经滞后于云服务的发展模式。华为GaussDB云数据库提供了配套的生态工具数据管理服务DAS。 DAS通过与数据库内核的紧密结合，提供了数据库开发、运维、智能诊断一站式云上数据库管理平台，方便用户使用和运维华为云数据库。 二、D
阅读全文
摘要： 最近看到一篇《我说MySQL每张表最好不要超过2000万数据，面试官让我回去等通知》的文章，非常有趣。 文中提到，他朋友在面试的过程中说，自己的工作就是把用户操作信息存到MySQL里，因为数据量超大（5000万条左右），需要每天定时生成3张表，然后将数据取模分别存到这三张表里。 下面是两人的对话
阅读全文
摘要： 背景 对数据库集群内资源管控与资源隔离一直是企业客户长久以来的诉求。华为云GaussDB作为一款企业级分布式数据库，一直致力于满足企业对大型数据库集群的管理需要。 数据库可以管理的资源有计算资源与存储资源，计算资源包括CPU、内存、IO与网络，存储资源包括数据存储空间、日志存储空间与临时文件等。
阅读全文
摘要： D-SMART高斯专版已经开发了几个月了，目前主要技术问题都已经解决，也能够初步看到大概的面貌了。有朋友问我，GaussDB不已经有了TPOPS了，为什么你们还要开发D-SMART高斯专版呢？ 实际上TPOPS和D-SMART虽然都可以用于Gaussdb的运维监控，不过其分工还是十分明显的。TP
阅读全文
摘要：万物互联的态势下，数据量的激增使得“如何提升数据处理性能”成为各家数据库共同面临的挑战。作为编译优化技术的代表，基于LLVM的CodeGen技术，能为每个查询生成定制的机器码替代原本的通用函数，减少实际查询时冗余的条件逻辑判断、虚函数调用并提高数据局域性，从而达到提升查询整体性能的目的，成为数据库性
阅读全文
摘要： 一、引言 事务管理是数据库系统中至关重要的一部分，它确保了数据库的一致性和可靠性。在GaussDB数据库中，事务管理不仅遵循传统的ACID特性，还提供了一些高级功能。本文将深入探讨GaussDB数据库事务管理的各个方面。 二、事务的基本概念 2.1 事务的定义 事务是数据库操作的基本单元，它是一
阅读全文
摘要：问题描述 CPU利用率是衡量系统负载和健康度的重要指标之一，系统在运行过程中时常发生CPU利用率高的情况。在分析性能问题时，可通过火焰图查看CPU耗时，了解瓶颈在哪里。 问题现象 部分sql执行速度不符合预期。 告警 慢sql告警。 cpu使用率高告警。 数据库整体运行慢。 业务影响 业务性能差。
阅读全文
摘要：一、前言 行存表和列存表是数据库中两种常见的数据存储方式。随着信息技术的飞速发展，数据存储和管理以及如何高效地存储和处理大量的数据已经成为了我们的一大挑战。 为了解决这个问题，行存表与列存表应运而生，它们以其独特的优势在各个场景得到了高效的应用。GaussDB支持行、列存储，本文将简单给大家介绍一下
阅读全文
摘要：问题描述 CPU使用率高。 问题现象 出现CPU使用率超过阈值，CPU使用率快速上涨或短时间持续较高水平等现象。 告警 CPU使用率告警。 业务影响 CPU使用率高集群响应变慢。 原因分析 期间业务压力增大导致。 出现CPU耗时较多的SQL。 处理方法 步骤 1 查看监控是某个节点的CPU高还是集群
阅读全文
摘要：GaussDB在架构设计上，采用组件化原则，分为GaussDB Kernel内核和GaussDB Kernel OM两部分。在产品形态上，提供面向云数据库服务GaussDB的分布式安装包和集中式安装包，提供面向本地化安装的小型化安装包。根据华为云提供的调查报告，当前全球数据库市场增长超预期，云是数据
阅读全文
摘要： 前沿 SQL于关系型数据库而言，重要性不言而喻。就像一个乐团的指挥，指导着作品的正确演绎和节奏的和谐统一。华为云GaussDB作为新一代关系型分布式数据库，具备卓越的技术性能和行业竞争力。很多人对GaussDB的关键技术很好奇： GaussDB SQL语句到底是如何执行的？ GaussDB SQ
阅读全文
摘要：GaussDB Kernel V5 OM运维管理关键模块如下。 OM 运维主要功能有：安装升级节点替换扩容、缩容自动告警巡检备份恢复、容灾日志分析系统在华为云的部署模式下，OM相关组件部署示意图如下： 图7 华为云OM运维管理 用户登录华为云Console，访问GaussDB Kernel V5的管
阅读全文
摘要：在数据库世界里，查询重写是提升性能的关键环节。WeTune作为一款革命性工具，能自动发现新重写规则，打破现有系统依赖人工发现重写规则的局限，大幅提升数据库查询性能。 上海交通大学软件学院副院长王肇国和高斯实验室GaussDB数据库优化器专家Ethan联手开展了一场以《智能优化揭秘——GaussDB数
阅读全文
摘要：在数据库自治运维技术领域，主要分为两条技术路线。其一是以Oracle为主的老牌数据库厂商，构建运维及生命周期管理统一逃课，实现大规模的数据库智能化管理能力；对用户通过运维工具指导业务快速升级和排障，对业务通过内置的优化诊断套件和多维度报表，快速定位性能瓶颈问题和实现SQL的快速优化。这种方案在单一集
阅读全文
摘要：应用系统数据库设计的基本流程 应用系统数据库设计基本流程简图： 第一步：需求分析：主要包括数据、功能、性能等 第二步：数据库设计：主要包括概念结构设计、逻辑结构设计、物理结构设计等 第三步：数据库实施：选择数据库软件，并进行落地。 第四步：数据库系统运行、维护和优化。 其中数据库设计(Databas
阅读全文
摘要： 前言 随着数字经济的蓬勃发展，数据库也成为企业的关键技术生产力，也是各行各业数字化转型的必要根基。GaussDB作为新一代分布式数据库，核心代码100%自主创新，具备高可用、高安全、高性能、高弹性、高智能、易部署、易迁移的特性，是当前国内唯一能够做到软硬协同、全栈自主的数据库，目前已广泛应用于各
阅读全文
摘要：初次接触openGauss或GaussDB数据库的逻辑对象，被其中的表空间、数据库、schema和用户之间的关系，以及授权管理困惑住了，与熟悉的MySQL数据库的逻辑对象又有明显的不同。本文旨在简要梳理下GaussDB数据库逻辑对象之间的关系，以加深理解。 1、GaussDB数据库逻辑对象 1.1
阅读全文
摘要：二、GaussDB常用基础函数介绍与示例 1、数字操作函数 在GaussDB数据库中，数字操作函数是指用于执行数字操作的函数，例如加减乘除、取余、幂运算等。这些函数通常在数学、计算机科学和工程学等领域中使用，用于处理数字数据和执行数字操作。 以下是一些常见的数字操作函数： --abs(x) --描述
阅读全文
摘要：前言 函数是数据库中最基本的组成部分之一，它们用于定义和操作数据库中的表格、记录、索引和视图等对象。在数据库中，函数的作用非常重要，因为它们可以实现数据的复杂操作，如查询、更新、删除和排序等。 作为华为自主创新研发的分布式关系型云数据库，GaussDB也拥有强大的函数支持体系。 本文主要从：数字操作
阅读全文
摘要：GaussDB Kernel V5版本的Catalog还是本地存储, 所以还需要考虑catalog的持久化问题.未来演进元数据解耦，Coordinator 无状态, 就不需要考虑Catalog持久化问题了。但是跨节点场景下的事务提交在Coordinator上还是要持久化的。 图14 Coordina
阅读全文
摘要：GTM 仅处理全局时间戳请求， 64位CSN递增，几乎都是CPU ++和消息收发操作。不是每次都写ETCD, 而是采用定期持久化到ETCD 里， 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障，CSN从ETCD读取出来的值保证单调递增。当前GTM 只完成CSN
阅读全文
摘要：GaussDB Kernel V5 集群管理层关键模块如下。 图4 集群管理层组件设计图 CM 组件提供了四种服务 CM Agent, CM Server, OM Monitor, cm_ctl，与各类实例服务组件（CN, DN, GTM 等）一起构成了整个数据库集群系统。cm_ctl通过命令行执行
阅读全文
摘要：华为GaussDB数据库包括：事务性（OLTP）数据库、分析型（OLAP）数据库和混合负载（HTAP）数据库。这里需要解释下OLTP、OLAP、HTAP之间的区别，这也是数据库最基本的内容。 据库系统一般分为两种类型：一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；一种是重计算
阅读全文
摘要：一、背景 GaussDB 是一款由华为开发的企业级分布式数据库，具有高性能、高可用、高可靠性等特点，广泛应用于各种业务场景。本指南将介绍如何在 GaussDB 中创建数据库和数据表，修改表结构，并添加约束。 二、创建数据库和数据表 创建数据库 在 GaussDB 中创建数据库可以使用 CREATE
阅读全文
摘要：华为 GaussDB 是一个企业级 AI-Native 分布式数据库。GaussDB 采用 MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供 PB(Petabyte，2 的 50 次方字节)级别数据量的处理能力。 华为Gauss数据库是全球首款AI-Na
阅读全文
摘要：数据持久化存取层(DataNode)关键技术方案 Datanode节点主要负责数据的持久化和快速写入、读取。数据持久化采用物理日志wal，事务提交wal刷盘， 对外提供逻辑日志功能，反解析物理日志为SQL逻辑日志。 图1 datanode数据持久化 Astore：存储格式为追加写优化设计，其多版本元
阅读全文
摘要：GTM 仅处理全局时间戳请求， 64位CSN递增，几乎都是CPU ++和消息收发操作。不是每次都写ETCD, 而是采用定期持久化到ETCD 里， 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障，CSN从ETCD读取出来的值保证单调递增。当前GTM 只完成CSN
阅读全文
摘要：GaussDB Kernel V5 集群管理层关键模块如下。 图4 集群管理层组件设计图 CM 组件提供了四种服务 CM Agent, CM Server, OM Monitor, cm_ctl，与各类实例服务组件（CN, DN, GTM 等）一起构成了整个数据库集群系统。 cm_ctl 通过命令行
阅读全文
摘要： GaussDB Kernel V5 OM运维管理关键模块如下。 OM 运维主要功能有： 安装 升级 节点替换 扩容、缩容 自动告警 巡检 备份恢复、容灾 日志分析系统 在华为云的部署模式下，OM相关组件部署示意图如下： 图7 华为云OM运维管理 用户登录华为云Console，访问GaussDB
阅读全文
摘要：GaussDB介绍 华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳
阅读全文
摘要：GaussDB数据库技术解读——高性能关键技术 内容概要：本章节介绍GaussDB中实现的高性能关键技术，内容涉及优化器、执行器、分布式数据库、存储引擎等多个方面。 目的：通过对GaussDB数据库关键高性能技术的学习，能够让读者更加清晰的理解数据库内核哪些优化是性能关键点同时也为类似的应用系统实现
阅读全文
摘要：GaussDB数据库技术解读——分布式执行 分布式执行主要为分布式数据库提供一套完备的支撑数据跨节点交换，协同计算的计算框架，能够支撑位于不同地点的许多计算分片机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库，数据的分布式切片方式从大的分类上有3种： （1）Share
阅读全文
摘要：GaussDB技术解读——轻量全局事务管理GTM-lite GTM，全称Global Transaction Manager，即全局事务管理器，负责全局事务号的分发，事务提交时间戳的分发以及全局事务运行状态的登记，作为事务管理中的重要模块，为支持事务一致性提供必要的保证。 事务开始和提交时与GTM进
阅读全文
摘要：GaussDB技术解读——高性能之查询处理流程 查询处理流程查询在经典数据库实现中需要依次进行以下4个环节， （1）查询解析：对用户输入查询进行编译，把查询从文本方式翻译成执行引擎可以识别的语句。 （2）查询优化：对查询的进行基于规则的逻辑优化RBO和基于代价CBO的物理优化 （3）查询执行：将查询
阅读全文
摘要：GaussDB技术解读高性能——物理优化CBO 在优化器处理完RBO的优化以后，路径的选择往往不能通过实现制定好的规则进行变换，而是需要根据数据的分布（统计信息）情况来对查询执行路径进行评估，从可选的路径中选择一个执行代价最小的路劲进行执行，例如是否选择索引SeqScan vs. IndexScan
阅读全文
摘要：GaussDB技术解读高性能——数据分区与分区剪枝 在数据系统中，数据分区是在一个实例内部按照用户指定的策略对数据做进一步的数据切分，将表按照指定规则划分为多个数据互不重叠的部分。从数据分区的角度来看是一种水平分区（horizontal partition）分区策略方式。分区表增强了数据库应用程序的
阅读全文
摘要：GaussDB技术解读高性能——计划缓存计划技术 数据库接收到SQL语句后通常要经过如下处理：词语法解析->优化重写->生成执行计划-> 执行，从开始解析到计划生成其实是一个比较耗时的过程，一个常用的思想就是将计划缓存下来，当执行到相似的SQL时，从而可以复用计划，跳过SQL语句生成执行计划的整个过
阅读全文
摘要：由于GaussDB采用的是无共享Shared-nothing的架构，由众多独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个物理节点上，数据分析任务会被推送到数据所在位置就近执行，通过控制模块的协调，并行地完成大规模的数据处理工作，实现对数据处理的
阅读全文
摘要：GaussDB技术解读高性能——分布式优化器 分布式数据库场景下表分布在各个节点上，数据的本地性Data Locality是分布式优化器中生成执行计划时重点考虑的因素，基于Share Nothing的分布式数据库中有一个很关键概念就是“移动数据不如移动计算”，之所以有数据本地性就是因为数据在网络中传
阅读全文
摘要：在数据库里RBO基于规则的优化一般指查询重写技术，按照一系列关系代数表达式的等价规则，对查询的关系代数表达式进行等价转换，从逻辑上减少执行的总量从而提高查询执行效率，例如，通过条件的推导得出非必要的表扫描、避免非必要的计算表示等。 查询重写RBO优化是非常重要的一种逻辑优化手段，通常应用和实施在查询
阅读全文
摘要：智能关键技术一：自治运维系统GaussDB 自治运维系统“DBMind”的整体系统框图如下图所示，包含四个维度：数据采集层数据采集层主要功能实现指标数据采集，采集频率分为秒级采集和分钟级采集。 其中秒级采集包括操作系统资源信息采集和数据库实例信息采集，例如操作系统层面CPU、内存、IO读写、网络资源
阅读全文
摘要：贝叶斯网络模型原理贝叶斯网络是一种概率图模型，拓扑结构通常为一个有向无环图。 贝叶斯网络的优势在于能够利用条件独立假设对多变量数据进行建模，并且自适应变量之间的相关性，具体是指每个变量的概率分布只和与它直接连接的父亲节点有关。使用这种方法能够比基于简单的独立性假设的模型获得更高的建模准确率，也能够比
阅读全文
摘要：GaussDB 库内AI引擎架构如下图： 图4 DB4AI架构图用户接口层 在用户接口层，实现SQL-like语法，提供Create Model、Predict等关键字，支持AI算法训练和预测。当前支持的AI算法包括：GD（梯度下降法）、KMeans（聚类）、XGBoost、决策树等。 查询优化层查
阅读全文
摘要：云原生数据库SQL引擎继承原来openGauss的词法解析，语法解析，查询重写，查询优化和执行引擎的能力。 由于云原生数据库是shared disk 架构，一个事务在一个节点上执行，所以不需要原来分布式根据分布式key进行数据分布，分布式执行和分布式2PC提交的能力。为了支持数据库粒度的异地多活，云
阅读全文
摘要：分层原则。整体层次分为三层，分别为Application Layer，Computer Layer和Storage Layer。Application Layer应用层主要是客户端各种语言的驱动，这些驱动通过通信与计算层Computer Layer进行交互，对数据库进行操作。 下面是Computer
阅读全文
摘要：事务存储组件 云原生数据库支持透明多写，所有节点对等，每个计算节点都可以读写全部的数据页面，事务在本节点执行，没有分布式事务。每个计算节点都有Local buffer pool，采用Remote memory pool扩展计算节点的内存，在多个计算节点之间共享buffer地址，避免页面在多个计算节点
阅读全文
摘要：云原生数据库以OLTP为主，同时也支持基于OLTP数据的OLAP需求，如每日报表。在云原生数据库中，DBA可以选择为这部分表创建列存索引。创建完列存索引之后，执行器在做顺序扫描的时候，会自动选择列存索引进行数据的读取，实现快速扫描计算的能力。 云原生数据库以行存为基础，数据的增删改都先以行存的形式落
阅读全文
摘要：GaussDB集群管理组件 云原生数据库支持全球集群部署和区域集群部署，相应的，故障检测也分为全球集群故障检测和区域 集群内故障检测，全球集群故障主要检测区域集群网络故障、区域集群脑裂故障。区域集群内检测节点网络故障、租户节点分区、集群管理节点分区、DFV存储故障。不同的故障需要不同的心跳链路来检测
阅读全文
摘要：GaussDB关键技术方案_通信组件 云原生数据库采用shared disk架构，各个计算节点对等，计算节点之间通过页面交换实现缓存数据的一致性，为了提高页面传递的效率，需要利用RDMA或UB单边读写的能力；云原生数据库为了管理动态资源，需要对动态资源的owner分配进行加锁，分布式锁管理需要利用原
阅读全文
摘要：云原生数据库支持多租户，通过多租户资源共享，一是降低租户的成本，二是通过共享资源的池化实现租户的资源弹性，提高租户业务的可用性。 租户的资源弹性支持两种模式，Scale Up和Scale Out。Scale Up是在单个计算节点上对租户的分配资源进行弹性处理，Scale Out是在计算节点之间对租户
阅读全文
摘要：GaussDB技术解读——分布式优化器 分布式数据库场景下表分布在各个节点上，数据的本地性Data Locality是分布式优化器中生成执行计划时重点考虑的因素，基于Share Nothing的分布式数据库中有一个很关键概念就是“移动数据不如移动计算”，之所以有数据本地性就是因为数据在网络中传输会有
阅读全文
摘要：存储引擎主要实现高效存储数据确保数据库ACID（原子性、一致性、隔离性、持久性），正确并发读写、高性能读写等问题，从查询处理的视角通常执行算子Scan层调用存储引擎的数据读取接口进行数据读写，传统的存储引擎在查询处理的位置如下图 GaussDB包含多种存储模式，按照存储格式划分可分为行存储格式、列存
阅读全文
摘要：GaussDB技术解读——查询执行器 执行引擎负责查询的执行，在SQL执行栈中起到接受优化器生成的执行计划Plan、并对通过存储引擎提供的数据读写接口，实现对数据进行计算得到查询的结果集。 在分布式数据库中，执行引擎的范围还应包括节点间网络数据交换和传输的部分。 经典的执行模型：Tuple-At-A
阅读全文
摘要：查询优化阶段主要是SQL执行过程中在优化器SQL Optimizer中执行的部分，优化器作为数据库的大脑是SQL执行路径决策者，从全局视角出发提升查询的性能，降低用户使用数据库调优的门槛。 查询优化总体上分为逻辑优化、物理优化。查询优化从总体上可以分成两类： 1、基于规则的逻辑优化（Rule-Bas
阅读全文
摘要：GaussDB技术解读——查询处理流程查询解析器 查询解析是指将用户的SQL文本输入转换为数据库内核能够进行逻辑运算的翻译过程，SQL的解析过程主要分为以下几个阶段： （1）词法分析Lexical Analysis：将用户输入的SQL语句拆解成单词(Token)序列，并识别出关键字、标识、常量等 （
阅读全文
摘要：安全关键技术一：密态等值查询 密态等值查询属于密态数据库第一阶段方案，但是遵从密态数据库总体架构。密态数据库的总体架构示意图如下图所示。密态数据库的完整形态包括密码学方案和软硬结合方案。 图8 密态数据库总体架构 由于密态等值查询仅涉及到软件部分，仅需集成密态数据库总体架构的软件部分，其总体实现方案
阅读全文
摘要：备份和恢复PITR主要是为了应对人为失误、硬件故障和自然灾害等。 云原生数据库默认支持一级备份，一级备份是分布式存储Page Store基于append only实现的快照功能，快照数据保存在本集群，用户可以配置开始一级备份的时间段、频率以及保留时间，由OM_Server根据集群的负载等数据生成备份
阅读全文
摘要：云原生数据库是一个分布式系统，各个服务之间，服务与外部应用和外部用户之间，服务与内部应用和内部用户之间主要通过通信进行交互，它们的数据流图如下图所示。 从图中可以看出，云原生主要包括三个通信平面，OM_Monitor，OM_Agent，OM_Server组成的管理平面（操作维护），GaussDB M
阅读全文
摘要：PageStore是一个分布式存储，对外提供SAL接口，SQL节点通过SAL接口进行日志和页面的持久化服务，PageStore对象间的映射关系如下图所示。 Page Cluster Manager Control Server（集群管理）：页面集群管理控制服务负责整个存储节点的管理，VFS和Stor
阅读全文
摘要：云原生数据库支持DCS一是为了DCS能够支持持久化能力，二是构建一站式的云数据库服务能力。DCS原来是一个share nothing的分布式集群，有自己的通信管理，集群管理和客户端。在云原生数据库中，DCS是作为一个组件集成到整个服务中，主要提供字符串（String）、哈希（Hash）、列表（Lis
阅读全文
