openGauss源码解析（27）
openGauss源码解析：第3章公共组件源码解析（3）
3.3 多线程架构
openGauss内核源自PostgreSQL，但在架构上进行了大量改造，其中一个调整就是将多进程架构修改为多线程架构。openGauss在启动后只有一个进程，后台任务都是以一个进程中的线程来运行。对于客户端的新连接，在非线程池模式下也是以启动一个业务线程来处理。在多线程架构下更容易实现多个线程资源的共享，如并行查询、线程池等。
3.3.1 openGauss主要线程
openGauss的后台线程是不对等的，其中Postmaster是主线程，其他线程都是它创建出来的。openGauss后台线程的功能介绍如表3-1所示。
表3-1 后台线程的功能
后台线程 | 功能介绍 |
|---|---|
Postmaster | openGauss数据库主线程。主要有两个功能：一是对连接进行监听，接收新的连接；二是监控所有子线程的状态，并且根据子线程退出状态进行处理，如果线程是FATAL退出，则重新拉起子线程。如果线程是PANIC退出，则进行整个数据库重新初始化。保证数据库的正常运行 |
Startup | 数据库启动线程。数据库启动时Postmaster主线程拉起的第一个子线程，主要完成数据库的日志REDO（重做）操作，进行数据库的恢复。日志REDO操作结束，数据库完成恢复后，如果不是备机，Startup线程就退出了。如果是备机，那么Startup线程一直在运行，REDO备机接收到新的日志 |
Bgwriter | 后台数据写线程。周期性的把数据库数据缓冲区的内容同步到磁盘上 |
Checkpointer | 检查点线程。进行检查点操作，完成数据库的周期性检查点和执行检查点命令 |
Walwriter | 后台WAL写线程。主要功能是周期性的把日志缓冲区的内容同步到磁盘上 |
Stat | 数据库运行信息统计收集线程。主要功能是收集各个线程操作数据库数据的统计信息，进行汇总后写入数据库的统计文件中，供查询优化分析和垃圾清理使用 |
Sysloger | 运行日志写线程。主要功能是把各个线程的运行日志信息写到运行日志文件中 |
Vacuum Launch | 垃圾清理启动线程。主要有两个功能：一是通知Postmaster 启动一个垃圾清理线程；二是平衡各个垃圾清理线程的负载 |
Vacuum worker | 垃圾清理线程。主要功能是对openGauss数据库的垃圾数据进行清理 |
Arch | 日志归档线程。主要功能是完成归档操作，把在线日志拷贝到归档目录 |
Postgres | 服务线程。在非线程池模式下，每个客户端连接对应一个服务线程，主要功能是接收客户端的操作请求，代表客户端在服务器完成数据库操作 |
3.3.2 线程间通信
openGauss后台线程之间紧密配合，共同完成了数据库的数据处理任务。这些后台线程之间需要交换信息来协调彼此的行为。openGauss多线程通信使用了原来的PostgreSQL的多进程通信方式。具体如表3-2所示。
表3-2 多线程通信方式
通信方式 | 说明 |
|---|---|
共享内存 | 在数据库初始化时，Postmaster线程通过OS（操作系统）申请一块大的共享内存，并且完成初始化工作。openGauss使用到的所有共享内存都是这块内存的一部分。线程之间的一些信息交换就是通过共享内存完成的，共享内存的访问需要加锁保护 |
信号 | 对于一些紧急任务的处理，openGauss使用信号通知作为线程间通信的手段。因为信号可以中断处理线程当前的任务，立即响应信号对应的任务 |
TCP | 客户端连接数据库服务器时，一般使用TCP进行通信 |
UNIX域套接字协议 | 如果是本地客户端，即客户端和服务器在同一个机器上，并且是UNIX操作系统，可以使用UNIX域套结字协议建立客户端和服务器进程的通信 |
UDP | UDP（user datagram protocol，用户数据报协议）是不可靠协议，主要用于后台线程向统计线程发送统计信息时使用 |
管道 | 管道可以是双向的，也可以是单向的。在openGauss中，主要使用了单向管道，用在后台线程向运行日志守护线程发送运行日志信息时使用 |
文件 | 主要用于一些不太重要的场合，并且通信量比较大。在openGauss中，主要用在统计线程汇总统计信息，写到统计文件，供垃圾清理线程和后台服务器线程成本优化使用 |
全局变量 | 一种线程间共享信息的机制。openGauss对原来的PostgreSQL中进程内的全局变量添加THR_LOCAL定义为线程的局部变量，避免线程之间误用 |
3.3.3 线程初始化流程
下面介绍线程的初始化流程。首先介绍openGauss进程的启动。openGauss进程的主函数入口在“\openGauss-server\src\gausskernel\process\main\main.cpp”文件中。在main.cpp文件中，主要完成实例Context（上下文）的初始化、本地化设置，根据main.cpp文件的入口参数调用BootStrapProcessMain函数、GucInfoMain函数、PostgresMain函数和PostmasterMain函数。BootStrapProcessMain函数和PostgresMain函数是在initdb场景下初始化数据库使用的。GucInfoMain函数作用是显示GUC（grand unified configuration，大统一配置，在数据库中指的是运行参数）参数信息。正常的数据库启动会进入PostmasterMain函数。下面对这个函数进行更详细的介绍。
（1） 进行Postmaster的Context初始化，初始化GUC参数，解析命令行参数。
（2） 调用StreamServerPort函数启动服务器监听和双机监听（如果配置了双机），调用reset_shared函数初始化共享内存和LWLock锁，调用gs_signal_monitor_startup函数注册信号处理线程，调用InitPostmasterDeathWatchHandle函数注册Postmaster死亡监控管道，把openGauss进程信息写入pid_file文件中，调用gspqsignal函数注册Postmaster的信号处理函数。
（3） 根据配置初始化黑匣子，调用pgstat_init函数初始化统计信息传递使用的UDP套接字通信，调用InitializeWorkloadManager函数初始化负载管理器，调用InitUniqueSQL函数初始化UniqueSQL，调用SysLogger_Start函数初始化运行日志的通信管道和SYSLOGGER线程，调用load_hba函数加载hba鉴权文件。
（4） 调用initialize_util_thread函数启动STARTUP线程，调用ServerLoop函数进入一个周期循环。在ServerLoop函数的周期循环中，进行客户端请求监听，如果有客户端连接请求，在非线程池模式下，则调用BackendStartup函数创建一个后台线程worker处理客户请求。在线程池模式下，把新的链接加入一个线程池组中。在ServerLoop函数的周期循环中，检查其他线程的运行状态。如果数据库是第一次启动，则调用initialize_util_thread函数启动其他后台线程。如果有后台线程FATAL级别错误退出，则调用initialize_util_thread函数重新启动该线程。如果是PANIC级别错误退出，则整个实例进行重新初始化。
PostmasterMain完成了线程之间的通信初始化和线程的启动，无论是后台线程的启动函数initialize_util_thread，还是工作线程的启动函数initialize_worker_thread，最后都是调用initialize_thread函数完成线程的启动。下面进行initialize_thread函数的介绍。
initialize_thread函数调用gs_thread_create函数创建线程，调用InternalThreadFunc函数处理线程。它的相关代码如下所示：
ThreadId initialize_thread(ThreadArg* thr_argv)
{
gs_thread_t thread;
if (0 != gs_thread_create(&thread, InternalThreadFunc, 1, (void*)thr_argv)) {
gs_thread_release_args_slot(thr_argv);
return InvalidTid;
}
return gs_thread_id(thread);
}
InternalThreadFunc函数的代码如下。该函数根据角色调用GetThreadEntry函数，GetThreadEntry函数直接以角色为下标，返回对应GaussdbThreadEntryGate数组对应的元素。数组的元素是处理具体任务的回调函数指针，指针指向的函数为GaussDbThreadMain。相关代码如下所示：
static void* InternalThreadFunc(void* args)
{
knl_thread_arg* thr_argv = (knl_thread_arg*)args;
gs_thread_exit((GetThreadEntry(thr_argv->role))(thr_argv));
return (void*)NULL;
}
GaussdbThreadEntry GetThreadEntry(knl_thread_role role)
{
Assert(role > MASTER && role < THREAD_ENTRY_BOUND);
return GaussdbThreadEntryGate[role];
}
static GaussdbThreadEntry GaussdbThreadEntryGate[] = {GaussDbThreadMain<MASTER>,
GaussDbThreadMain<WORKER>,
GaussDbThreadMain<THREADPOOL_WORKER>,
GaussDbThreadMain<THREADPOOL_LISTENER>,
......};
在GaussDbThreadMain函数中，首先初始化线程基本信息，Context和信号处理函数，接着就是根据thread_role角色的不同调用不同角色的处理函数，进入各个线程的main函数，比如GaussDbAuxiliaryThreadMain函数、AutoVacLauncherMain函数、WLMProcessThreadMain函数等。其中GaussDbAuxiliaryThreadMain函数是后台辅助线程处理函数。该函数的处理也类似GaussDbThreadMain函数，根据thread_role角色的不同调用不同角色的处理函数，进入各个线程的main函数，比如StartupProcessMain函数、CheckpointerMain函数、WalWriterMain函数、walrcvWriterMain函数等。
总结上面整个过程，openGauss多线程架构主要包括3个方面：
