【Redis】数据结构与对象（六种底层数据结构）——字典

字典

字典，又称为符号表（symbol table）、关联数组（associative array）或映射（map），是一种用于保存键值对（key-value pair）的抽象数据结构。字典中的每一个键都是唯一的，可以通过键查找与之关联的值，并对其修改或删除

Redis的键值对存储就是用字典实现的，散列（Hash）的底层实现之一也是字典

（1）字典的定义实现

Redis的字典底层是使用哈希表实现的，一个哈希表里面可以有多个哈希表节点，每个哈希表节点中保存了字典中的一个键值对

哈希表结构定义：

typedef struct dictht {
    // 哈希表数组
    dictEntry **table;
    // 哈希表大小
    unsigned long size;
    // 哈希表大小掩码，用于计算索引值，等于size-1
    unsigned long sizemask;
    // 哈希表已有节点的数量
    unsigned long used;
} dictht;

哈希表是由数组table组成，table中每个元素都是指向dict.h/dictEntry结构的指针，哈希表节点的定义如下

typedef struct dictEntry {
    // 键
    void *key;
    // 值
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
        double d;
    } v;
    // 指向下一个哈希表节点，形成链表
    struct dictEntry *next;
} dictEntry;

其中key是我们的键；v是键值，可以是一个指针，也可以是整数或浮点数；next属性是指向下一个哈希表节点的指针，可以让多个哈希值相同的键值对形成链表，解决键冲突问题

最后就是我们的字典结构，dict.h/dict

typedef struct dict {
    // 和类型相关的处理函数
    dictType *type;
    // 私有数据
    void *privdata;
    // 哈希表
    dictht ht[2];
    // rehash 索引，当rehash不再进行时，值为-1
    long rehashidx; /* rehashing not in progress if rehashidx == -1 */
    // 迭代器数量
    unsigned long iterators; /* number of iterators currently running */
} dict;

type属性和privdata属性是针对不同类型的键值对，用于创建多类型的字典，type是指向dictType结构的指针，privdata则保存需要传给类型特定函数的可选参数，关于dictType结构和类型特定函数可以看下面代码

typedef struct dictType {
    // 计算哈希值的行数
    uint64_t (*hashFunction)(const void *key);
    // 复制键的函数
    void *(*keyDup)(void *privdata, const void *key);
    // 复制值的函数
    void *(*valDup)(void *privdata, const void *obj);
    // 对比键的函数
    int (*keyCompare)(void *privdata, const void *key1, const void *key2);
    // 销毁键的函数
    void (*keyDestructor)(void *privdata, void *key);
    // 销毁值的函数
    void (*valDestructor)(void *privdata, void *obj);
} dictType;

dict的ht属性是两个元素的数组，包含两个dictht哈希表，一般字典只使用ht[0]哈希表，ht[1]哈希表会在对ht[0]哈希表进行rehash（重哈希）的时候使用，即当哈希表的键值对数量超过负载数量过多的时候，会将键值对迁移到ht[1]上

rehashidx也是跟rehash相关的，rehash的操作不是瞬间完成的，rehashidx记录着rehash的进度，如果目前没有在进行rehash，它的值为-1

结合上面的几个结构，我们来看一下字典的结构图（没有在进行rehash）

（2）哈希算法

当要将一个新的键值对添加到字典里面时，程序需要先根据键值对的键计算出哈希值和索引值，然后再分局索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上面。

#使用字典设置的哈希函数，计算键key的哈希值

#使用哈希表的sizemask属性和哈希值，计算出索引值

#根据情况不同，ht[x] 可以是ht[0]或者ht[1]

（3）解决键冲突

当一个新的键值对要添加到字典中时，会根据键值对的键计算出哈希值和索引值，根据索引值放到对应的哈希表上，即如果索引值为0，则放到ht[0]哈希表上。当有两个或多个的键分配到了哈希表数组上的同一个索引时，就发生了键冲突的问题，哈希表使用链地址法来解决，即使用哈希表节点的next指针构成一个单向链表，将同一个索引上的多个节点用这个单向链表连接起来。当哈希表的键值对太多或太少，就需要对哈希表进行扩展和收缩，通过rehash(重新散列)来执行

（4）rehash

对哈希表进行扩展或收缩

哈希表保存的键值对会逐渐地增多或者减少，为了让哈希表的负载因子维持在一个合理范围内，当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩。

扩展和收缩哈希表的工作通过执行rehash（重新散列）操作来完成，步骤如下：

1）为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对数量（也即是ht[0].used属性的值）

• 扩容：

  • 第一个大于等于ht[0].used * 2的2^n(2的n次方幂)。

  收缩：

  • 第一个大于等于ht[0].used的2^n(2的n次方幂)。

2）将保存的ht[0]中的所有键值对都rehash到ht[1]上，重新计算哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置上

3）当ht[0]包含的所有键值对都迁移到了ht[1]之后，ht[0]变为空表并释放，将ht[1]设置为ht[0]，并在ht[0]新创建一个哈希表，为下一次rehash做准备

扩容和收缩标准

扩容：

• 没有执行BGSAVE和BGREWRITEAOF指令的情况下，哈希表的加载因子大于等于1。
• 正在执行BGSAVE和BGREWRITEAOF指令的情况下，哈希表的加载因子大于等于5。

收缩:

• 加载因子小于0.1时，程序自动开始对哈希表进行收缩操作。

服务器执行扩展操作所需的负载因子不相同，因为在执行命令时，redis需要创建当前服务器进程的子进程，而大多数都是采用写时复制乱来优化子进程的，所以在子进程存在器件，服务器会提高执行扩展操作所需的负载因子，从而尽可能地避免在子进程存在器件进行哈希表扩展操作，避免不必要的内存写入操作。

（4）渐进式rehash

哈希表的rehash是分多次、渐进式进行的。

因为hash中有可能存放几千万甚至上亿个key，毕竟Redis中每个hash中可以存2^32 - 1 键值对（40多亿），假如一次性将这些键值rehash的话，可能会导致服务器在一段时间内停止服务，毕竟哈希函数就得计算一阵子

哈希表渐进式rehash的详细步骤：

1. 为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表
2. 字典中维持了一个索引计数器变量rehashidx，并将它的值设置为0，表示rehash的工作正式开始
3. 在rehash期间，每次对字典进行添加，删除，查找或者更新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，当rehash工作完成后，rehashidx属性值加一
4. 当ht[0]的所有键值对都会被rehash到ht[1]，则rehashidx属性值设置为-1，完成rehash操作

总结rehash执行期间的哈希表操作：

在进行渐进式rehash过程中，字典会同时使用ht[0]和ht[1]两个哈希表。如：在字典中查找一个键，程序会先在ht[0]里面进行查找，没有找到的话，会继续在ht[1]里进行查找。添加键值到字典中，键值会被保存在ht[1]里面，而ht[0]则不再进行任何添加操作，因为保证了ht[0]包含的键值对数量会只减不增，最终变成空表。

参考：《Redis设计与实现》