MySQL和Redis测试
Go单测—MySQL和Redis测试
介绍如何使用go-sqlmock和miniredis工具进行MySQL和Redis的mock测试。
一、go-sqlmock
sqlmock 是一个实现 sql/driver 的mock库。它不需要建立真正的数据库连接就可以在测试中模拟任何 sql 驱动程序的行为。使用它可以很方便的在编写单元测试的时候mock sql语句的执行结果。源码地址
二、安装
go get github.com/DATA-DOG/go-sqlmock
三、使用示例
这里使用的是go-sqlmock官方文档中提供的基础示例代码。 在下面的代码中，我们实现了一个recordStats函数用来记录用户浏览商品时产生的相关数据。具体实现的功能是在一个事务中进行以下两次SQL操作： - 在products表中将当前商品的浏览次数+1 - 在product_viewers表中记录浏览当前商品的用户id
// app.go
package sqlmock_demo
import "database/sql"
/*
@author RandySun
@create 2022-05-01-10:43
*/
//
// recordStats
// @Description: 记录用户浏览产品信息 在`products`表中将当前商品的浏览次数+1 - 在`product_viewers`表中记录浏览当前商品的用户id
// @param db 数据库连接对象
// @param userId 用户id
// @param productId 产品id
// @return err
//
func recordStats(db *sql.DB, userId, productId int64) (err error) {
// 开启事务
// 操作views和product_viewers两张表
tx, err := db.Begin()
if err != nil {
return
}
defer func() {
switch err {
case nil:
err = tx.Commit()
default:
tx.Rollback()
}
}()
// 更新products 表
if _, err = tx.Exec("update products set views=views+1"); err != nil {
return
}
// product_viewers 表中插入一条数据
if _, err = tx.Exec("insert into product_viewers(user_id, product_id) values(?, ?)", userId, productId); err != nil {
return
}
return
}
func main() {
// 注意测试过程中并不需要真正的连接
db, err := sql.Open("mysql", "root/randy.")
if err != nil {
panic(err)
}
defer db.Close()
// userId 为1的用户浏览了productId为5的产品
if err = recordStats(db, 1 /*some user id*/, 5 /*some product id*/); err != nil {
panic(err)
}
}
现在我们需要为代码中的recordStats函数编写单元测试，但是又不想在测试过程中连接真实的数据库进行测试。这个时候我们就可以像下面示例代码中那样使用sqlmock工具去mock数据库操作。
package main
import (
"fmt"
"testing"
"github.com/DATA-DOG/go-sqlmock"
)
// TestShouldUpdateStats sql执行成功的测试用例
func TestShouldUpdateStats(t *testing.T) {
// mock一个*sql.DB对象，不需要连接真实的数据库
db, mock, err := sqlmock.New()
if err != nil {
t.Fatalf("an error '%s' was not expected when opening a stub database connection", err)
}
defer db.Close()
// mock执行指定SQL语句时返回的结果
mock.ExpectBegin()
// 正则匹配执行sql语句
mock.ExpectExec("update products").WillReturnResult(sqlmock.NewResult(1, 1))
mock.ExpectExec("insert into product_viewers").WithArgs(2, 3).WillReturnResult(sqlmock.NewResult(1, 1))
mock.ExpectCommit()
// 将mock的db对象传入我们的函数中
if err = recordStats(db, 2, 3); err != nil {
t.Errorf("error was not expected while updationg stats: %s", err)
}
// 确保期望的结果都满足
if err := mock.ExpectationsWereMet(); err != nil {
t.Errorf("there were unflfilled expectations: %s", err)
}
}
// TestShouldRollbackStatUpdatesOnFailure sql执行失败回滚的测试用例
func TestShouldRollbackStatUpdatesOnFailure(t *testing.T) {
db, mock, err := sqlmock.New()
if err != nil {
t.Fatalf("an error '%s' was not expected when opening a stub database connection", err)
}
defer db.Close()
mock.ExpectBegin()
// 正则匹配执行sql语句
mock.ExpectExec("update products").WillReturnResult(sqlmock.NewResult(1, 1))
mock.ExpectExec("insert into product_viewers").
WithArgs(2, 3).
WillReturnError(fmt.Errorf("some error"))
mock.ExpectRollback()
// now we execute our method
if err = recordStats(db, 2, 3); err == nil {
t.Errorf("was expecting an error, but there was none")
}
// we make sure that all expectations were met
if err := mock.ExpectationsWereMet(); err != nil {
t.Errorf("there were unfulfilled expectations: %s", err)
}
}
上面的代码中，定义了一个执行成功的测试用例和一个执行失败回滚的测试用例，确保我们代码中的每个逻辑分支都能被测试到，提高单元测试覆盖率的同时也保证了代码的健壮性。
执行单元测试，看一下最终的测试结果。
sqlmock_demo> go test -v
=== RUN TestShouldUpdateStats
--- PASS: TestShouldUpdateStats (0.00s)
=== RUN TestShouldRollbackStatUpdatesOnFailure
--- PASS: TestShouldRollbackStatUpdatesOnFailure (0.00s)
PASS
ok golang-unit-test-example/04sqlmock_demo 0.250s
可以看到两个测试用例的结果都符合预期，单元测试通过。
在很多使用ORM工具的场景下，也可以使用go-sqlmock库mock数据库操作进行测试。
四、miniredis
除了经常用到MySQL外，Redis在日常开发中也会经常用到。接下来的这一小节，我们将一起学习如何在单元测试中mock Redis的相关操作。
miniredis是一个纯go实现的用于单元测试的redis server。它是一个简单易用的、基于内存的redis替代品，它具有真正的TCP接口，你可以把它当成是redis版本的net/http/httptest。
当我们为一些包含Redis操作的代码编写单元测试时就可以使用它来mock Redis操作。
五、安装
go get github.com/alicebob/miniredis/v2
六、使用示例
这里以github.com/go-redis/redis库为例，编写了一个包含若干Redis操作的DoSomethingWithRedis函数。
// redis_op.go
package miniredis_demo
import (
"context"
"strings"
"time"
"github.com/go-redis/redis/v8" // 注意导入版本
)
/*
@author RandySun
@create 2022-05-01-11:35
*/
const KeyValidWebSite = "app:valid:website:list"
func DoSomethingWithRedis(rdb *redis.Client, key string) bool {
// 这里可以对redis操作的一些逻辑
ctx := context.TODO()
if !rdb.SIsMember(ctx, KeyValidWebSite, key).Val() {
return false
}
val, err := rdb.Get(ctx, key).Result()
if err != nil {
return false
}
if !strings.HasPrefix(val, "https://") {
val = "https://" + val
}
// 设置blog key 五秒过期
if err := rdb.Set(ctx, "blog", val, 5*time.Second).Err(); err != nil {
return false
}
return true
}
下面的代码是我使用miniredis库为DoSomethingWithRedis函数编写的单元测试代码，其中miniredis不仅支持mock常用的Redis操作，还提供了很多实用的帮助函数，例如检查key的值是否与预期相等的s.CheckGet()和帮助检查key过期时间的s.FastForward()。
import (
"testing"
"time"
"github.com/go-redis/redis/v8"
"github.com/alicebob/miniredis/v2"
)
/*
@author RandySun
@create 2022-05-01-11:42
*/
func TestDoSomethingWithRedis(t *testing.T) {
// mock 一个redis server
s, err := miniredis.Run()
if err != nil {
panic(err)
}
defer s.Close()
// 准备数据
s.Set("RandySun", "www.cnblogs.com/randysun/")
s.SAdd(KeyValidWebSite, "RandySun")
// 连接mock的redis server
rdb := redis.NewClient(&redis.Options{
Addr: s.Addr(), // mock redis server的地址
})
// 调用函数
ok := DoSomethingWithRedis(rdb, "RandySun")
if !ok {
t.Fatal()
}
// 检查redis中的只是否复合预期
if got, err := s.Get("blog"); err != nil || got != "https://www.cnblogs.com/randysun/" {
t.Fatalf("'blog' has the wrong value")
}
// 使用帮助工具检查
s.CheckGet(t, "blog", "https://www.cnblogs.com/randysun/")
// 过期检查
s.FastForward(5 * time.Second) // 快进五秒
if s.Exists("blog") {
t.Fatal("'blog' should not have existed any more")
}
}
执行执行测试，查看单元测试结果：
miniredis_demo> go test -v
=== RUN TestDoSomethingWithRedis
--- PASS: TestDoSomethingWithRedis (0.00s)
PASS
ok golang-unit-test-example/05miniredis_demo 0.210s
miniredis基本上支持绝大多数的Redis命令，大家可以通过查看文档了解更多用法。
当然除了使用miniredis搭建本地redis server这种方法外，还可以使用各种打桩工具对具体方法进行打桩。在编写单元测试时具体使用哪种mock方式还是要根据实际情况来决定。
七、总结
在日常工作开发中为代码编写单元测试时如何处理数据库的依赖是最常见的问题，本文介绍了如何使用go-sqlmock和miniredis工具mock相关依赖。
