Go map并发读写异常导致服务崩溃
昨天突然接到报警说服务端口丢失,也就是服务崩溃,看了错误日志,发现是map并发读写问题,记录下来,避免再犯类似错误。
分析错误日志
发现是调用json.Marshal时出错了,错误统计如下,都是并发读写map之类的异常。
229次错误:fatal error: concurrent map iteration and map write
193次错误:fatal error: concurrent map writes
129次错误:fatal error: concurrent map read and map write
xxx/xxx.go文件的114行:
func getFeatureMap(ctx context.Context, filters []*model.FiltersType, driverId int64) map[string]string {
var features []string
for _, filterRule := range filters {
param := filterRule.FilterMap
param["driver_id"] = strconv.FormatInt(driverId, 10)
featureKeys, _ := ufs.BuildKeyList(domain, []string{key}, param) // 114行
features = append(features, featureKeys...)
}
...
}
看起来就是传入的param这个map被多个协程并发写了,filterRule.FilterMap是全局变量,所以这里需要修改为深拷贝。
深拷贝的函数
// DeepCopyMap map[string]string 类型实现深拷贝
func DeepCopyMap(params map[string]string) map[string]string {
result := map[string]string{}
for k, v := range params {
result[k] = v
}
return result
}
调用深拷贝实现
把param := filterRule.FilterMap
修改为 param := DeepCopyMap(filterRule.FilterMap)
一个简单的模拟示例
package main
import (
"encoding/json"
"fmt"
"math/rand"
"strconv"
"sync"
"time"
)
func main() {
param := map[string]string{
"name": "andy",
"age": "30",
}
f := func(i int) {
tempMap := param
//tempMap := DeepCopyMap(m) // 使用深度拷贝可以解决并发读写map的问题
tempMap["idx"] = strconv.Itoa(i)
time.Sleep(time.Millisecond * time.Duration(rand.Intn(10)))
json.Marshal(tempMap)
}
var wg sync.WaitGroup
for i := 0; i < 1000; i++ {
wg.Add(1)
go func(idx int) {
defer wg.Done()
f(idx)
}(i)
}
wg.Wait()
fmt.Println("Finish")
}
// DeepCopyMap map[string]string 类型实现深拷贝
func DeepCopyMap(params map[string]string) map[string]string {
result := map[string]string{}
for k, v := range params {
result[k] = v
}
return result
}
执行上述代码,很容易报以下其中一个或多个的错误。
- fatal error: concurrent map iteration and map write
- fatal error: concurrent map writes
- fatal error: concurrent map read and map write