随笔分类 - 数据库学习
摘要：DB4AI这个方向中，数据库通过集成AI能力，在用户进行AI计算时就可以避免数据搬运的问题。不同于其他的DB4AI框架，本次openGauss开源的原生框架是通过添加AI算子的方式完成数据库中的AI计算。
阅读全文
摘要：pg_chameleon介绍 pg_chameleon是一个用Python 3编写的实时复制工具，经过内部适配，目前支持MySQL迁移到openGauss。工具使用mysql-replication库从MySQL中提取row images，这些row images将以jsonb格式被存储到openG
阅读全文
摘要：pgloader介绍 pgloader是一个数据导入工具，使用COPY命令将数据导入到PostgreSQL。pgloader有两种工作模式，一种是从文件导入，一种是迁移数据库。pgloader在两种情况下都使用PostgreSQL的COPY协议高效的传输数据。 openGauss兼容PostgreS
阅读全文
摘要：一、首先参照“使用JDBC连接数据库”，修改数据库的pg_hba.conf文件，修改数据库监听地址。 步骤1 连接数据库后，进入SQL命令界面。创建用户dbuser，密码为Gauss#3demo，并进行授权。 CREATE USER dbuser IDENTIFIED BY 'Gauss#3demo
阅读全文
摘要：1 概述 PostgreSQL社区提供了丰富的插件，但由于openGauss和PostgreSQL存在一定的差异，如线程/进程模型、系统表和视图等，无法直接为openGauss所用，不可避免的需要在插件上做整改。本文档主要对Postgresql插件移植到openGauss的过程提供指导说明，旨在让开
阅读全文
摘要：Ora2Pg介绍 Ora2Pg是一个将Oracle迁移至PostgreSQL的开源工具，通过连接Oracle数据库，自动扫描并提取其中的对象结构及数据，产生SQL脚本，通过手动或自动的方式将其应用到PostgreSQL。 官方网站：https://ora2pg.darold.net/ Ora2Pg优
阅读全文
摘要：数据脱敏背景及介绍 1.1数据库脱敏背景 伴随着互联网大数据、云服务等新兴技术的飞速发展和普及，业务上云、数据集中存储、数据共享等数据应用方式已成为未来发展的趋势，云数据库和云计算服务具有易部署、低成本、高效率、高可靠的优势，使得越来越多的消费者更倾向于将个人数据存储在云上而非个人移动硬盘中。实际上
阅读全文
摘要：视图与基本表不同，是一个虚拟的表。数据库中仅存放视图的定义，而不存放视图对应的数据，这些数据仍存放在原来的基本表中。若基本表中的数据发生变化，从视图中查询出的数据也随之改变。从这个意义上讲，视图就像一个窗口，透过它可以看到数据库中用户感兴趣的数据及变化。
阅读全文
摘要：除了DML之外的所有查询都通过ProcessUtility模块来执行，包括了各类DDL语句、事务相关语句、游标相关语句等。上层调用函数为exec_simple_query函数，其中PortalStart函数和PortalDrop函数部分较为简单。核心函数是PortalRun函数下层调用的standa
阅读全文
摘要：执行引擎位于优化器和存储引擎之间，负责将数据从存储引擎读取出来，根据计划将数据处理加工返回给客户端。执行器接收到的指令就是优化器应对SQL查询而翻译出来的关系代数运算符所组成的执行树，如下图所示： 图中每一个方块代表一个具体关系运算代数符，我们称之为算子，每个算子有统一的接口，从下层的一个或者多个算
阅读全文
摘要：执行引擎一般负责查询的执行，执行引擎在SQL执行栈中起到接收优化器生成的执行计划Plan、并对通过存储引擎提供的数据读写接口，实现对数据进行计算得到查询的结果集。 在典型的OLTP场景中，简单查询占了很大一部分比例。这种查询的特征是只涉及单表和简单表达式的查询，因此为了加速这类查询，openGaus
阅读全文
摘要：SQL语句解析完成后被解析成Query结构，在进行优化时是以Query为单位进行的，Query的优化分为基于规则的逻辑优化（查询重写）和基于代价的物理优化（计划生成），主入口函数为subquery_planner。subquery_planner函数接收Query(查询树)，返回一个Plan(计划树
阅读全文
摘要：SQL引擎执行查询主要经历了词法语法解析、查询重写、查询规划和计划执行等步骤。其中，在查询规划过程中，为了生成可执行的最优计划，首先要生成路径，而由于路径存在多样性，因此需要对路径进行淘汰选择。目前优化器进行路径的选择主要是基于估算的代价，因此这种优化器也被称为基于代价的优化器（Cost Based
阅读全文
摘要：查询重写 SQL语言是丰富多样的，非常的灵活，不同的开发人员依据经验的不同，手写的SQL语句也是各式各样，另外还可以通过工具自动生成。SQL语言是一种描述性语言，数据库的使用者只是描述了想要的结果，而不关心数据的具体获取方式，输入数据库的SQL语言很难做到是以最优形式表示的，往往隐含了一些冗余信息，
阅读全文
摘要：在传统数据库中SQL引擎一般指对用户输入的SQL语句进行解析、优化的软件模块。SQL的解析过程主要分为： 词法分析Lexical Analysis：将用户输入的SQL语句拆解成单词(Token)序列，并识别出关键字、标识、常量等。 语法分析Syntax Analysis：分析器对词法分析器解析出来的
阅读全文
摘要：本文主要分析简单查询语句在业务处理线程Postgres上的执行流程，并介绍如何利用gdb梳理代码逻辑。 简单查询的执行 SQL引擎是数据库系统的入口，执行用户简单查询的入口函数是exec_simple_query。运行在业务处理线程Postgres。 通常可以把SQL引擎分成SQL解析和查询优化两个
阅读全文
摘要：openGauss数据库自2020年6月30日开源以来，吸引了众多内核开发者的关注。那么openGauss的多线程是如何启动的，一条SQL语句在 SQL引擎，执行引擎和存储引擎的执行过程是怎样的，酷哥做了一些总结，第一期内容主要分析openGauss 多线程架构启动过程。 openGauss数据库是
阅读全文
