golang 杂思
正文
这里给大家总结一些 Go player 开发小技巧. 欢迎批评和交流, 望大家喜欢.
1. 配置管理
推荐一种简单粗暴的配置管理方式 [配置 映射 内部结构].
例如有个配置文件 config.online.yaml
# 常量
pi: 3.14159265358
# 即表示网址属性值
uri: https://www.google.com
# 即表示 server.host 属性的值
server:
host: http://www.youtube.com
# 数组, 即表示 server 为 [a, b, c]
host:
- 172.217.161.132
- 216.58.220.206
- 8.8.8.8
我们可以在代码直接写映射规则.
var C = struct {
PI float64 `yaml:"pi"`
URL `yaml:"uri"`
Server struct {
Host `yaml:"host"`
} `yaml:"server"`
Host []string `yaml:"host"`
}{}
程序启动时候, 通过 func init() {} 初始化. 使用时只需要使用 config.C.PI,
是不是很方便. 再补充一个更好的配置文件协议 toml.
如果换用 toml 配置(config.online.toml)的内容更好理解
pi = 3.14159265358
uri = https://www.google.com
[server]
host = http://www.youtube.com
host = [
"172.217.161.132",
"216.58.220.206",
"8.8.8.8"
]
真的, 看见 toml 的第一眼就喜欢上了. 好舒服 ~ 让人觉得好舒服, 就应该这样的雕琢.
2. fmt.Sprintf
有时候我们看见这样的代码片段
if len(v) > 0 {
errMessage = fmt.Sprintf(t, v...)
} else {
errMessage = t
}
其实对于 fmt.Sprintf 是画蛇添足, 可以直接
errMessage = fmt.Sprintf(t, v...)
3. 乒乓结构
(说的很轻巧, 推荐有所思考) 普通的读写操作代码有
var lastMd5sLock = sync.RWMutex{}
var lastMd5s map[string]map[string]string
func ClearCache() {
lastMd5sLock.Lock()
defer lastMd5sLock.Unlock()
lastMd5s = make(map[string]map[string]string)
}
这里分享个干掉 RWMutex 的无锁技巧. 运用新旧两份配置, 使用空间换时间技巧.
var nowIndex uint32
var dataConf [2]map[string]map[string]string
// ClearCache conf map clear
func ClearCache() {
lastConf := make(map[string]map[string]string)
lastIndex := 1 - atomic.LoadUint32(&nowIndex)
dataConf[lastIndex] = lastConf
atomic.StoreUint32(&nowIndex, lastIndex)
}
我们来讲解代码, 原先的 ClearCache 那段代码加了写锁. 写锁能够做到两件事情
1' 临界情况有人在单条读取, 清除会让其等待
2' 临界情况有人在单条写入, 清除会让其等待
假如我们不对 ClearCache 加写锁, 采用原子交换技巧.
由于此刻内存中存在 dataConf[1] new 和 dataConf[0] old 两个配置对象.
临界情况指读取和写入都在进行, 但此刻触发清除操作
1' 临界情况有人在单条读取, 写方将 nowIndex 指向了 1, 但读取的仍然是 dataConf[0] old
2' 临界情况有人在单条写入, 写入的还是 dataConf[0] old
上面行为和加锁后产出结果一样. 因而清除函数, 可以用原子技巧替代锁.
通过这个原理, 我们做配置更新或者同步时候可以采用下面步骤获取最优性能
1' 解析配置, 生成一个新的配置对象 map 填充到 dataConf[lastIndex]
2' 新的配置对象读取索引原子赋值给当前的读取索引 lastIndex = lastIndex
为什么说这么多呢. 因为锁是一个我们需要慎重对待的点.
而对于那些不加锁, 也没有原子操作的乒乓结构, 可以自行利用 go -race 分析.
其读写一致性无法保证(读写撕裂, 脏读), 而且无法保证编译器不做优化. 有时候那种写法线上居然
不出问题, 但是一旦出了问题就是莫名其妙, 很难追查. 这里就不表那种错误的乒乓写法, 来污染同
行代码.
4. 配置库解析
说起配置库, 我看有的同学通过这样代码做配置文件内容提取和分割.
content, err := ioutil.ReadFile(file)
if err != nil {
// ...
}
for _, line := range strings.Split(string(content), "\n") {
// ...
}
上面代码存在两个潜在问题
1' 大文件内存会炸
2' 不同平台换行符不统一 mac \r linux \n windows \r\n
一个稳健漂亮代码模板推荐用下面
fin, err := os.Open(path)
if err != nil {
// Error ...
}
defer fin.Close()
// create a Reader
var buf bytes.Buffer
reader := bufio.NewReader(fin)
for {
line, isPrefix, err := reader.ReadLine()
if len(line) > 0 {
buf.Write(line)
if !isPrefix {
// 完整的行并且不带 \r\n, 运行独立的业务代码 ~
lins := string(buf.Bytes())
buf.Reset()
}
}
if err != nil {
break
}
}
强烈推荐!! 各位保存这个套路模板.
5. Go MD5
这种高频出现代码片段, 强烈建议统一封装. 保证出口统一. 这里带大家封装两个.
// MD5String md5 hash
func MD5String(str string) string {
data := md5.Sum([]byte(str))
return fmt.Sprintf("%x", data)
}
// MD5File 文件 MD5
func MD5File(path string) (string, error) {
fin, err := os.Open(path)
if err != nil {
return "", err
}
defer fin.Close()
m := md5.New()
// 文件读取解析, 并设置缓冲缓冲大小
const blockSize = 4096
buf := make([]byte, blockSize)
for {
n, err := fin.Read(buf)
if err != nil {
return "", err
}
// buf[:0] == []
m.Write(buf[:n])
if n < blockSize {
break
}
}
return fmt.Sprintf("%x", m.Sum(nil)), nil
}
不要问为什么那么麻烦, 因为那叫专业. 小点游戏包片段 4G, 你来个 md5 试试
6. github.com/spf13/cast
不要用这个库, 性能全是呵呵呵.
Go 中类型转换代码其实很健全(实在没办法可以自行写反射), 举例如下
// ParseBool returns the boolean value represented by the string.
// It accepts 1, t, T, TRUE, true, True, 0, f, F, FALSE, false, False.
// Any other value returns an error.
func ParseBool(str string) (bool, error)
// ParseFloat converts the string s to a floating-point number
// with the precision specified by bitSize: 32 for float32, or 64 for float64.
// When bitSize=32, the result still has type float64, but it will be
// convertible to float32 without changing its value.
func ParseFloat(s string, bitSize int) (float64, error)
// ParseInt interprets a string s in the given base (0, 2 to 36) and
// bit size (0 to 64) and returns the corresponding value i.
func ParseInt(s string, base int, bitSize int) (i int64, err error)
可以看看 github.com/spf13/cast 源码设计水平线 ~
// ToBoolE casts an empty interface to a bool.
func ToBoolE(i interface{}) (bool, error) {
i = indirect(i)
switch b := i.(type) {
case bool:
return b, nil
case nil:
return false, nil
case int:
if i.(int) != 0 {
return true, nil
}
return false, nil
case string:
return strconv.ParseBool(i.(string))
default:
return false, fmt.Errorf("Unable to Cast %#v to bool", i)
}
}
首先看到的是 b := i.(type) 断言, 触发一次反射.
随后可能到 case int 分支 i.(int) or case string 分支 i.(string) 触发二次反射.
非常浪费. 因为 b 就是反射后的值了. 猜测作者当时喝了点酒.
其实作者写的函数还有个商榷地方在于调用 indirect 函数找到指针指向的原始类型.
// From html/template/content.go
// Copyright 2011 The Go Authors. All rights reserved.
// indirect returns the value, after dereferencing as many times
// as necessary to reach the base type (or nil).
func indirect(a interface{}) interface{} {
if a == nil {
return nil
}
if t := reflect.TypeOf(a); t.Kind() != reflect.Ptr {
// Avoid creating a reflect.Value if it's not a pointer.
return a
}
v := reflect.ValueOf(a)
for v.Kind() == reflect.Ptr && !v.IsNil() {
v = v.Elem()
}
return v.Interface()
}
这个函数引自 Go 标准库 html/template/content.go 中.
用于将非 nil 指针转成指向类型. 提高代码兼容性.
这是隐藏的反射. 个人觉得用在这里很浪费 ~
Go 开发中反射是低效的保证. 反射性能损耗在
1' 运行时安全检查
2' 调用底层的类型转换函数
不到非用不可, 请不要用反射. 和锁一样都需要慎重
外部库太多容易造成版本管理复杂, 而且生产力和效率也不一定提升. 例如上面的包 ~
... ...
其实我们的协议层, 是太爱客户端了. int, number, string 全都兼容.
把原本 json 协议要做的事情, 抛给了运行时问题. 这方面, 强烈推荐 json 协议语义明确.
方便我们后端做参数健壮性过滤. 避免部分 CC 攻击.
7. MySQL 相关讨论
在数据业务设计时. 顺带同大家交流下 MySQL 设计过程中小技巧(模板)
create table [table_nane] (
id bigint unsigned NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT '物理主键',
update_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
[delete_time timestamp DEFAULT NULL COMMENT '删除时间']
[template]
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
问题 1: 物理主键 id 为什么是 unsigned ?
回答 :
1' 性能更好, unsigned 不涉及 反码和补码 转码消耗
2' 表示物理主键更广 [-2^63, 2^63-1] -> [0, 2^64-1]
3' mysql 优化会更好. select * from * where id < 250;
原先是 select * from * where -2^63 <= id and id < 250;
现在是 select * from * where 0 <= id and id < 250;
问题 2: 为什么用 timestamp 表示时间?
回答 :
1' timestamp 和 int 一样都是 4字节. 用它表示时间戳更友好.
2' 业务不再关心时间的创建和更新相关业务代码. 省心, 省代码
问题 3: 为什么是 utf8mb4 而不是 utf8?
回答 :
mysql 的 utf8 不是标准的 utf8. unicode 编码定义是使用 1-6 字节表示一个字符.
但 mysql utf8 只使用了 1-3 字节表示一个字符, 那么遇到 4字节编码以上的字符(表情符号)
会发生意外. 所以 mysql 在 5.5 之后版本推出了 utf8mb4 编码, 完全兼容以前的 utf8.
后记
渴望光荣 - https://music.163.com/#/song?id=31421394
