Golang语言分布式ID生成器

生成类似MySQL自增ID这样不断增大,同事又不会出现重复的ID,以支持业务中的高并发场景。比较典型的:电商促销,短时间内出现大量的订单涌入到系统中,比如每秒10W+。

明星出轨时,会有大量的热情粉丝发微博以表达自己的心意,同时会在短时间内产生大量的消息。

在插入数据库之前,需要给这些信息、订单上先打上一个ID,然后在插入到数据库中,对这个ID要求希望能带一些时间信息,这样即使在后端的系统中对信息进行了分表,也能够以时间顺序对这些信息进行排序。

Twitter的snowflake算法是这种场景中的典型算法。

snowflake

snowflake中的比特位分布

首先确定的数值是64位,int64类型,被划分为4部分,不含开头的第一个bit,因为这个bit是符号位。用41位表示收到的请求时间戳,单位为毫秒,然后五位来表是数据中心的ID(datacenter_id),然后再五位表示机器的实例ID(worker_id),然后是12位的循环自增ID(sequence_id)到达1111,1111,1111后归0

这样的机制可以支持我们在同一台机器上,同一毫秒内产生2^12=4096条信息,一秒共409.6万条信息。从值域上来讲完全够用了。

数据中心加上实例ID共有10位,可以支持我们每秒数据中心部署32台机器,所有数据中心共1024台实例

表示timestamp的41位,可以支持我们使用69年。当然,我们的时间毫秒计数不会真的从1970年开始记,那样系统跑到2039-9-7 23:47:35就不能用了,所以这里的timestamp只是相对于某个时间的增量。比如我们的系统上线是2018-08-01,那么可以把这个timestamp当做从2018-08-01 00:00:00.000的偏移量。

worker_id分配

timestamp,datacenter_id,worker_id,sequence_id这四个字段中,timestamp和sequence_id是由程序在运行期生成的。但datacenter_id和worker_id需要我们在部署阶段就能够获取得到,并且一旦程序启动之后,就是不可更改的(如果可以随意更改,可能被不填修改,造成最终生成ID有冲突 。)

一般不同的数据中心的机器,会提供对应的数据中心ID的API,所以datacenter_id我们在部署阶段轻松地获取到。而worker_id是我们逻辑上给机器分配的ID,这个怎么处理?比较简单的想法是由能够提供这种自增ID功能的工具来支持,比如MySQL:

mysql>INSERT INTO a(ip) values("10.1.1.10");
Query OK,1 row affected(0.00 sec)
mysql>SELECT last_insert_id();
+------------------+
| last_insert_id() |
+------------------+
|                2 |
+------------------+
1 row in set (0.00 sec)

从MySQL中获取到worker_id之后,就把这个worker_id直接持久化到本地,以避免每次上线时都需要获取新的worker_id。让单实例的worker_id可以始终保持不变。

当然,使用MySQL相当于给我们简单的ID生成服务增加了一个外部依赖。依赖越多,我们服务的客运为性就差。

考虑到集群中即使有单个ID生成的服务器的实例挂了,也就是损失一段时间的一部分ID,所以简单暴力一些,把worker_id直接写在worker的配置中,上线时,由部署脚本完成worker_id字段替换。

开源实例

标准snowflake实现

github.com/bwmarrin/snowflake是一个相当轻量化的snowflake的Go实现,其文档对各位使用的定义图:

简单使用:

package main

import (
	"fmt"
	"os"

	"github.com/bwmarrin/snowflake"
)

func main() {
	n, err := snowflake.NewNode(1)
	if err != nil {
		println(err)
		os.Exit(1)
	}
	for i := 0; i < 3; i++ {
		id := n.Generate()
		fmt.Println("id", id)
		fmt.Println(
			"node:", id.Node(),
			"step:", id.Step(),
			"time:", id.Time(),
			"\n",
		)
	}
}
>>>
id 1444921611449798656
node: 1 step: 0 time: 1633331132172 

id 1444921611449798657
node: 1 step: 1 time: 1633331132172 

id 1444921611449798658
node: 1 step: 2 time: 1633331132172

当然,这个库也留好了定制的后路,其中预留了一些可定制字段:

// Epoch is set to the twitter snowflake epoch of Nov 04 2010 01:42:54 UTC in milliseconds
// You may customize this to set a different epoch for your application.
Epoch int64 = 1288834974657

// NodeBits holds the number of bits to use for Node
// Remember, you have a total 22 bits to share between Node/Step
NodeBits uint8 = 10

// StepBits holds the number of bits to use for Step
// Remember, you have a total 22 bits to share between Node/Step
StepBits uint8 = 12

Epoch:起始时间

NodeBits:机器编号的位长

StepBits:自增序列的位长

Sonyflake

sonyflake是Sony公司的一个开源项目,基本思路和snowflake差不多,不过位分配上稍有不同

这里的时间只用了39个bit,但时间的单位变成了10ms,所以理论上比41位表示的时间还要久(174年)

Sequence ID和之前的定义一致,Machine ID其实就是节点ID。

sonyflake与众不同的地方在于其在启动阶段的配置参数:

func NewSonyflake(st Setttings) *Sonyflake

Settings数据结构如下:

type Settings struct {
	StartTime      time.Time	       //Sonyflake时间定义为经过时间的时间,当StartTime为0时,则Sonyflake开始时间为“2014-09-01 00:00:00”如果时间早于当前时间,则不会创建Sonyflake
	MachineID      func() (uint16, error)  //MachineID返回Sonyflake实例的唯一ID。如果MachineID为0时,则使用默认MachineID,默认MachineID返回私有IP地址的低16位
	CheckMachineID func(uint16) bool       //CheckMachineID验证机器ID的唯一性。如果CheckMachineID返回false,则不会创建Sonyflake。如果CheckMachineID为0时,则不进行验证。
}

Redis中的集合类型来检查冲突

redis 127.0.0.1:6379> SADD base64_encoding_of_last16bits MzI0Mgo=
(integer) 1
redis 127.0.0.1:6379> SADD base64_encoding_of_last16bits MzI0Mgo=
(integer) 0

使用起来也比较简单,有一些逻辑简单的函数就略去实现了:

package main

import (
    "fmt"
    "os"
    "time"

    "github.com/sony/sonyflake"
)

func getMachineID() (uint16, error) {
    var machineID uint16
    var err error
    machineID = readMachineIDFromLocalFile()
    if machineID == 0 {
        machineID, err = generateMachineID()
        if err != nil {
            return 0, err
        }
    }

    return machineID, nil
}

func checkMachineID(machineID uint16) bool {
    saddResult, err := saddMachineIDToRedisSet()
    if err != nil || saddResult == 0 {
        return true
    }

    err := saveMachineIDToLocalFile(machineID)
    if err != nil {
        return true
    }

    return false
}

func main() {
    t, _ := time.Parse("2006-01-02", "2018-01-01")
    settings := sonyflake.Settings{
        StartTime:      t,
        MachineID:      getMachineID,
        CheckMachineID: checkMachineID,
    }

    sf := sonyflake.NewSonyflake(settings)
    id, err := sf.NextID()
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }

    fmt.Println(id)
}

摘自:《Golang语言高级编程》

posted @ 2021-10-04 15:53  自己有自己的调调、  阅读(918)  评论(0编辑  收藏  举报