openGauss Cluster Manager RTO Test

一、环境介绍

软件环境
类别版本下载链接备注
OS openEuler 20.03 (LTS) https://repo.openeuler.org/openEuler-20.03-LTS/ISO/aarch64/openEuler-20.03-LTS-aarch64-dvd.iso 操作系统
BenchmarkSQL 5.0 https://sourceforge.net/projects/benchmarksql/files/latest/download驱动版本：postgresql-9.3-1102.jdbc41.jar 模拟 TPCC 压力的程序驱动为程序自带的 pg 驱动
Golang go1.18 linux/arm64 https://golang.google.cn/dl/go1.18.1.linux-arm64.tar.gz https://gitee.com/opengauss/openGauss-connector-go-pq/blob/master/example/multi_ip/multi_ip.go https://gitee.com/opengauss/openGauss-connector-go-pq/tags 模拟应用连接的程序
openGauss 3.0.0 https://opengauss.obs.cn-south-1.myhuaweicloud.com/3.0.0/arm/openGauss-3.0.0-openEuler-64bit-all.tar.gz 数据库
硬件环境
主机 CPU 规格硬盘职责
node1 Kunpeng-920 虚拟机 16c/64g 通用型 SSD 主库
node2 Kunpeng-920 虚拟机 16c/64g 通用型 SSD 同步备库
go 程序
node3 Kunpeng-920 虚拟机 16c/64g 通用型 SSD 异步备库 BenchmarkSQL 程序
架构图

二、测试场景

go 程序多 IP 连接测试 RTO
原理：CM 检测主库发生故障，不可访问时会自动选新主，go 驱动通过 target_session_attrs=read-write 控制只连主库，通过 SQL select sysdate,pg_is_in_recovery(); 查询结果时间戳查看 RTO

go 程序代码
[root@cloud001-0003 go]# cat 1.go
// Copyright © 2021 Bin Liu bin.liu@enmotech.com

package main

import (
"database/sql"
"fmt"
_ "gitee.com/opengauss/openGauss-connector-go-pq"
"log"
"os"
"os/signal"
"syscall"
"time"
)

/*
需要有访问dbe_perf.global_instance_time的权限
CREATE USER dbuser_monitor with login monadmin PASSWORD 'Mon@1234';
grant usage on schema dbe_perf to dbuser_monitor;
grant select on dbe_perf.global_instance_time to dbuser_monitor;
CGO_ENABLED=0 GOOS=linux GOARCH=arm64
*/

var (
dsnExample = DSN="postgres://gaussdb:secret@foo,bar,baz/mydb?sslmode=disable" DSN="postgres://gaussdb:secret@foo:1,bar:2,baz:3/mydb?sslmode=disable" DSN="user=gaussdb password=***** host=foo,bar,baz port=5432 dbname=mydb sslmode=disable" DSN="user=gaussdb password=***** host=foo,bar,baz port=5432,5432,5433 dbname=mydb sslmode=disable"
)

func main() {
os.Setenv("DSN", "postgres://gaussdb:Enmo12345@...:26000,...:26000,...:26000/postgres?"+
"sslmode=disable&loggerLevel=debug&target_session_attrs=read-write")
connStr := os.Getenv("DSN")
if connStr == "" {
fmt.Println("please define the env DSN. example:\n" + dsnExample)
return
}
fmt.Println("DNS:", connStr)
db, err := sql.Open("opengauss", connStr)
if err != nil {
log.Fatal(err)
}
var (
newTimer = time.NewTicker(1 * time.Second)
doClose = make(chan struct{}, 1)
)

    go func() {
            for {
                    select {
                    case <-newTimer.C:
                            if err := getNodeName(db); err != nil {
                                    fmt.Println(err)
                            }
                    case <-doClose:
                            newTimer.Stop()
                            return
                    }
            }
    }()

    sigChan := make(chan os.Signal, 2)
    signal.Notify(sigChan, syscall.SIGTERM, syscall.SIGINT, syscall.SIGKILL) //nolint:staticcheck
    defer signal.Stop(sigChan)
    <-sigChan
    doClose <- struct{}{}

}

func getNodeName(db *sql.DB) error {
var err error
// tx, err := db.Begin()
// if err != nil {
// return err
// }
// defer tx.Commit()
var sysdate string
var pgIsInRecovery bool
var nodeName string
err = db.QueryRow("select sysdate,pg_is_in_recovery();").
Scan(&sysdate, &pgIsInRecovery)
if err != nil {
return err
}
var channel string

    // err = db.QueryRow("select channel from pg_stat_get_wal_senders() limit 1 ").
    //      Scan(&channel)
    fmt.Println(sysdate, nodeName, pgIsInRecovery, channel)
    // if err != nil {
    //      return err
    // }
    return nil

}

模拟数据库故障
[omm@cloud001-0002 data]$ mv db1/ db1.bak
go 程序连接数据库及重连时间

时间差
2022/04/11 16:02:13.614273 connector.go:222: info dialing server host ... port 26000
2022/04/11 16:02:20.683716 connector.go:145: debug find instance host ... port 26000

RTO时间7s
2. BenchmarkSQL 多 IP 连接测试 RTO
原理：CM 检测主库发生故障，不可访问时会自动选新主，jdbc 驱动通过 target_session_type=master 控制只连主库，通过 SQL 程序执行时间戳查看 RTO

BenchmarkSQL 模拟负载及重连时间

时间差
16:02:13,561 [Thread-8] ERROR jTPCCTData : Unexpected SQLException in STOCK_LEVELsage: 153MB / 897MB
16:02:20,834 [Thread-57] FATAL jTPCCTerminal : Unexpected SQLException on rollback: This connection has been closed.

RTO时间7.273s
3. 数据库端观测时间
数据库日志

时间差
2022-04-11 16:02:13.253 tid=1795056 StartAndStop ERROR: data path disc writable test failed, /opt/mogdb/data/data/db1.
2022-04-11 16:02:20.438 tid=1815697 LOG: failover msg from cm_server, data_dir :/opt/mogdb/data/data/db1 nodetype is 2

RTO时间7.185s
总结
在有负载情况（tpcc 压测产生负载，数据库服务器 CPU 占用 50%左右）进行主库宕机测试，
以主库宕机为起始点，备库成功作为新主库启动成功为终止点 RTO 为 7.185s
以主库宕机为起始点，模拟 TPCC 压测的 benchmarkSQL 程序成功重新连接到新主库为终止点 RTO 为 7.273s
以主库宕机为起始点，模拟其它应用连接数据库的 go 程序成功重新连接到新主库为终止点 7s
由于 go 程序至精确到 s，猜测实际时间为 7.185s 以上
综上所述 openGauss Cluster Manager RTO 约为 7s 左右