Go语言操作Redis

Go语言操作Redis

在项目开发中redis的使用也比较频繁，本文介绍了Go语言中go-redis库的基本使用。

一、Redis介绍

Redis是一个开源的内存数据库，Redis提供了多种不同类型的数据结构，很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制、持久化和客户端分片等特性，我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。

二、Redis支持的数据结构

Redis支持诸如字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）、带范围查询的排序集合（sorted sets）、位图（bitmaps）、hyperloglogs、带半径查询和流的地理空间索引等数据结构（geospatial indexes）。

三、Redis应用场景

  • 缓存系统，减轻主数据库（MySQL）的压力。
  • 计数场景，比如微博、抖音中的关注数和粉丝数。
  • 热门排行榜，需要排序的场景特别适合使用ZSET。
  • 利用LIST可以实现队列的功能。

四、准备Redis环境

这里直接使用Docker启动一个redis环境，方便学习使用。

docker启动一个名为redis507的5.0.7版本的redis server示例：

docker run --name redis507 -p 6379:6379 -d redis:5.0.7

注意：此处的版本、容器名和端口号请根据自己需要设置。

启动一个redis-cli连接上面的redis server:

docker run -it --network host --rm redis:5.0.7 redis-cli

五、go-redis库安装

区别于另一个比较常用的Go语言redis client库：redigo，我们这里采用https://github.com/go-redis/redis连接Redis数据库并进行操作，因为go-redis支持连接哨兵及集群模式的Redis。

使用以下命令下载并安装:

go get -u github.com/go-redis/redis

六、连接

6.1、普通连接

package main

import "github.com/go-redis/redis"

/*
@author RandySun
@create 2021-09-01-8:39
*/

var rdb *redis.Client

// 初始化连接
func ordinaryInitClient()(err error){
	rdb = redis.NewClient(&redis.Options{
		Addr: "127.0.0.1:6379",
		Password: "",
		DB: 3,

	})
	_, err = rdb.Ping().Result()
	if err != nil{
		return err
	}
	return nil
}


func main() {
	err := ordinaryInitClient()
	if err != nil{
		fmt.Println("连接redis failed:", err)
	}
	fmt.Println("连接redis success", rdb)
}

6.2、V8新版本相关

最新版本的go-redis库的相关命令都需要传递context.Context参数，例如：

package main

import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8" // 注意导入的是新版本
	"time"
)

/*
@author RandySun
@create 2021-09-01-8:53
*/
var rdb *redis.Client

// 初始化连接
func initClient() (err error) {
	rdb = redis.NewClient(&redis.Options{
		Addr: "127.0.0.1:6379",
		Password: "", // 密码
		DB: 5, // 选择连接的库
		PoolSize: 100, //连接池大小
	})

	ctx, cancel  :=context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel ()
	_, err = rdb.Ping(ctx).Result()
	return err
}


func v8Example(){
	ctx := context.Background()
	if err := initClient(); err != nil{
		return
	}
	err := rdb.Set(ctx, "name", "RandySun", 0).Err()
	if err != nil{
		panic(err)
	}
	val, err :=rdb.Get(ctx,"name").Result()
	if err != nil{
		panic(err)
	}
	fmt.Println("name", val)

	val2, err := rdb.Get(ctx, "key2").Result()
	if err == redis.Nil{
		fmt.Println("key2, does not exist")
	}else if err != nil{
		panic(err)
	}else {
		fmt.Println("key2", val2)
	}


}
func main() {
	
	v8Example()
}

6.3、连接Redis哨兵模式

func initClient()(err error){
	rdb := redis.NewFailoverClient(&redis.FailoverOptions{
		MasterName:    "master",
		SentinelAddrs: []string{"x.x.x.x:26379", "xx.xx.xx.xx:26379", "xxx.xxx.xxx.xxx:26379"},
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

6.4、连接Redis集群

func initClient()(err error){
	rdb := redis.NewClusterClient(&redis.ClusterOptions{
		Addrs: []string{":7000", ":7001", ":7002", ":7003", ":7004", ":7005"},
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

七、基本使用

7.1、set/get示例

package main

import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8" // 注意导入的是新版本

)
/*
@author RandySun
@create 2021-09-02-8:21
*/

func setGetRedisDemo() {
	ctx := context.Background()

	err := rdb.Set(ctx, "score", 100, 0).Err()
	if err != nil{
		fmt.Printf("set score failed, err: %v\n", err)
	}

	val, err :=rdb.Get(ctx,"sscore").Result()
	if err != nil{
		fmt.Printf("get score failed, err: %v\n", err)

	}
	fmt.Println("score", val)

	val2, err := rdb.Get(ctx, "name").Result()
	if err == redis.Nil {
		fmt.Println("name does not exist")
	} else if err != nil {
		fmt.Printf("get name failed, err:%v\n", err)
		return
	} else {
		fmt.Println("name", val2)
	}
}



func main() {
	err := initClient()
	if err != nil{
		fmt.Println("连接redis failed:", err)
	}
	fmt.Println("连接redis success", rdb)
	setGetRedisDemo()

}

连接redis success Redis<127.0.0.1:6379 db:5>
get score failed, err: redis: nil
score
name RandySun

7.2、zset示例

package main

/*
@author RandySun
@create 2021-09-03-8:39
*/
import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8" // 注意导入的是新版本

)
func zsetRedisDemo() {

	zsetKey := "language_rank"
	languages := []*redis.Z{
	&redis.Z{Score: 90.0, Member: "Golang"},
	&redis.Z{Score: 98.0, Member: "Java"},
	&redis.Z{Score: 95.0, Member: "Python"},
	&redis.Z{Score: 97.0, Member: "JavaScript"},
	&redis.Z{Score: 99.0, Member: "C/C++"},
	}
	ctx := context.Background()

	// ZADD
	num, err := rdb.ZAdd(ctx,zsetKey, languages...).Result()
	if err != nil {
		fmt.Printf("zadd failed, err:%v\n", err)
		return
	}
	fmt.Printf("zadd %d succ.\n", num)


	// 把Golang的分数加10
	newScore, err := rdb.ZIncrBy(ctx, zsetKey, 10.0, "Golang").Result()
	if err != nil {
		fmt.Printf("zincrby failed, err:%v\n", err)
		return
	}

	fmt.Printf("Golang's score is %f now.\n", newScore)

	// 取分数最高的3个
	ret, err := rdb.ZRevRangeWithScores(ctx, zsetKey, 0, 2).Result()
	if err != nil {
		fmt.Printf("zrevrange failed, err:%v\n", err)
		return
	}
	for _, z := range ret {
		fmt.Println("取分数最高的3个",z.Member, z.Score)
	}

	// 取95~100分的
	op := &redis.ZRangeBy{
		Min: "95",
		Max: "100",
	}
	ret, err = rdb.ZRangeByScoreWithScores(ctx, zsetKey, op).Result()
	if err != nil {
		fmt.Printf("zrangebyscore failed, err:%v\n", err)
		return
	}
	for _, z := range ret {
		fmt.Println("取95~100分的:",z.Member, z.Score)
	}
}


func main() {
	err := initClient()
	if err != nil{
		fmt.Println("连接redis failed:", err)
	}
	fmt.Println("连接redis success", rdb)
	zsetRedisDemo()

}

输出结果如下：

连接redis success Redis<127.0.0.1:6379 db:5>
zadd 0 succ.
Golang's score is 100.000000 now.
取分数最高的3个 Golang 100
取分数最高的3个 C/C++ 99
取分数最高的3个 Java 98
取95~100分的: Python 95
取95~100分的: JavaScript 97
取95~100分的: Java 98
取95~100分的: C/C++ 99
取95~100分的: Golang 100

7.3、根据前缀获取Key

vals, err := rdb.Keys(ctx, "prefix*").Result()

7.4、执行自定义命令

res, err := rdb.Do(ctx, "set", "key", "value").Result()

7.5、按通配符删除key

当通配符匹配的key的数量不多时，可以使用Keys()得到所有的key在使用Del命令删除。 如果key的数量非常多的时候，我们可以搭配使用Scan命令和Del命令完成删除。

package main

/*
@author RandySun
@create 2021-09-03-9:02
*/
import (
	"context"
	"fmt"
	//"github.com/go-redis/redis/v8" // 注意导入的是新版本

)
func deleteKeysRedisDemo()  {
	ctx := context.Background()

	vals, err := rdb.Keys(ctx, "na*").Result()
	if err != nil {
		fmt.Printf("get keys failed, err:%v\n", err)
		return
	}
	fmt.Println("根据通配符获取key前:", vals)

	iter := rdb.Scan(ctx, 0, "na*", 0).Iterator()
	for iter.Next(ctx) {
		fmt.Println("删除key: ", iter.Val())

		err := rdb.Del(ctx, iter.Val()).Err()
		if err != nil {
			panic(err)
		}
	}
	if err := iter.Err(); err != nil {
		panic(err)
	}
	vals2, err := rdb.Keys(ctx, "na*").Result()
	if err != nil {
		fmt.Printf("get keys failed, err:%v\n", err)
		return
	}
	fmt.Println("根据通配符删除key后:", vals2)
}

func main() {
	err := initClient()
	if err != nil{
		fmt.Println("连接redis failed:", err)
	}
	fmt.Println("连接redis success", rdb)
	deleteKeysRedisDemo()

}

连接redis success Redis<127.0.0.1:6379 db:5>
根据通配符获取key前: [name]
删除key: name
根据通配符删除key后: []

八、Pipeline

Pipeline 主要是一种网络优化。它本质上意味着客户端缓冲一堆命令并一次性将它们发送到服务器。这些命令不能保证在事务中执行。这样做的好处是节省了每个命令的网络往返时间（RTT）。

image-20211229224655793

image-20211229224845795

Pipeline 基本示例如下：

package main

import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8"
	"time"
)

/*
@author RandySun
@create 2021-09-03-21:37
*/
func pipelineRedisDemo() {
	ctx := context.Background()
	pipe := rdb.Pipeline()
	incr := pipe.Incr(ctx, "pipeline_counter")
	pipe.Expire(ctx, "pipeline_counter", time.Hour)
	_, err := pipe.Exec(ctx)
	fmt.Println(incr.Val(), err)

}

func pipelinedRedisDemo() {
	var incr *redis.IntCmd
	ctx := context.Background()
	_, err := rdb.Pipelined(ctx, func(pipe redis.Pipeliner) error {
		incr = pipe.Incr(ctx,"pipeline_counter")
		pipe.Expire(ctx, "pipeline_counter", time.Hour)
		return nil
	})

	fmt.Println(incr.Val(), err)
}

func main() {
	err := initClient()
	if err != nil{
		fmt.Println("连接redis failed:", err)
	}
	fmt.Println("连接redis success", rdb)
	pipelineRedisDemo()
	pipelinedRedisDemo()

}

3
4

上面的代码相当于将以下两个命令一次发给redis server端执行，与不使用Pipeline相比能减少一次RTT。

INCR pipeline_counter
EXPIRE pipeline_counts 3600

也可以使用Pipelined：

var incr *redis.IntCmd
_, err := rdb.Pipelined(func(pipe redis.Pipeliner) error {
	incr = pipe.Incr("pipelined_counter")
	pipe.Expire("pipelined_counter", time.Hour)
	return nil
})
fmt.Println(incr.Val(), err)

在某些场景下，当我们有多条命令要执行时，就可以考虑使用pipeline来优化。

九、事务

Redis是单线程的，因此单个命令始终是原子的，但是来自不同客户端的两个给定命令可以依次执行，例如在它们之间交替执行。但是，Multi/exec能够确保在multi/exec两个语句之间的命令之间没有其他客户端正在执行命令。

在这种场景我们需要使用TxPipeline。TxPipeline总体上类似于上面的Pipeline，但是它内部会使用MULTI/EXEC包裹排队的命令。例如：

pipe := rdb.TxPipeline()

incr := pipe.Incr("tx_pipeline_counter")
pipe.Expire("tx_pipeline_counter", time.Hour)

_, err := pipe.Exec()
fmt.Println(incr.Val(), err)

上面代码相当于在一个RTT下执行了下面的redis命令：

MULTI
INCR pipeline_counter
EXPIRE pipeline_counts 3600
EXEC

还有一个与上文类似的TxPipelined方法，使用方法如下：

var incr *redis.IntCmd
_, err := rdb.TxPipelined(func(pipe redis.Pipeliner) error {
	incr = pipe.Incr("tx_pipelined_counter")
	pipe.Expire("tx_pipelined_counter", time.Hour)
	return nil
})
fmt.Println(incr.Val(), err)

十、Watch

在某些场景下，我们除了要使用MULTI/EXEC命令外，还需要配合使用WATCH命令。在用户使用WATCH命令监视某个键之后，直到该用户执行EXEC命令的这段时间里，如果有其他用户抢先对被监视的键进行了替换、更新、删除等操作，那么当用户尝试执行EXEC的时候，事务将失败并返回一个错误，用户可以根据这个错误选择重试事务或者放弃事务。

Watch(fn func(*Tx) error, keys ...string) error

Watch方法接收一个函数和一个或多个key作为参数。基本使用示例如下：

// 监视watch_count的值，并在值不变的前提下将其值+1
key := "watch_count"
err = client.Watch(func(tx *redis.Tx) error {
	n, err := tx.Get(key).Int()
	if err != nil && err != redis.Nil {
		return err
	}
	_, err = tx.Pipelined(func(pipe redis.Pipeliner) error {
        // 做交易操作
		pipe.Set(key, n+1, 0)
		return nil
	})
	return err
}, key)

最后看一个V8版本官方文档中使用GET和SET命令以事务方式递增Key的值的示例，仅当Key的值不发生变化时提交一个事务。

func transactionDemo() {
	var (
		maxRetries   = 1000
		routineCount = 10
	)
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()

	// Increment 使用GET和SET命令以事务方式递增Key的值
	increment := func(key string) error {
		// 事务函数
		txf := func(tx *redis.Tx) error {
			// 获得key的当前值或零值
			n, err := tx.Get(ctx, key).Int()
			if err != nil && err != redis.Nil {
				return err
			}

			// 实际的操作代码（乐观锁定中的本地操作）
			n++

			// 操作仅在 Watch 的 Key 没发生变化的情况下提交
			_, err = tx.TxPipelined(ctx, func(pipe redis.Pipeliner) error {
				pipe.Set(ctx, key, n, 0)
				return nil
			})
			return err
		}

		// 最多重试 maxRetries 次
		for i := 0; i < maxRetries; i++ {
			err := rdb.Watch(ctx, txf, key)
			if err == nil {
				// 成功
				return nil
			}
			if err == redis.TxFailedErr {
				// 乐观锁丢失 重试
				continue
			}
			// 返回其他的错误
			return err
		}

		return errors.New("increment reached maximum number of retries")
	}

	// 模拟 routineCount 个并发同时去修改 counter3 的值
	var wg sync.WaitGroup
	wg.Add(routineCount)
	for i := 0; i < routineCount; i++ {
		go func() {
			defer wg.Done()
			if err := increment("counter3"); err != nil {
				fmt.Println("increment error:", err)
			}
		}()
	}
	wg.Wait()

	n, err := rdb.Get(context.TODO(), "counter3").Int()
	fmt.Println("ended with", n, err)
}

更多详情请查阅文档。

posted @ 2021-12-29 23:34  RandySun  阅读(103)  评论(0)  编辑  收藏  举报