redis字典的底层实现hashTable

Redis的字典使用哈希表作为底层实现。一个哈希表里面可以有多个哈希表节点,而每个哈希表节点就保存了字典中的一个键值对

哈希表的数据结构为

 

table属性是一个数组,数组中的每个元素都是指向dictEntry结构的指针,每个dictEntry结构保存着一个键值对,size属性记录了table的大小 used哈希表目前已有的节点sizemask属性的值总是等于size-1\

dictEntry的数据结构为

key 属性保存着键值对中的键、而v属性保存着键值对中的值,其中键值对中的值可以为指针 、无符号64位整数 64位整数 val指针可以指向 字符串、列表、字典、集合

next 属性指向另一个哈希表节点的指针(next 是为了解决哈希冲突,将多个哈希值相同的键值对链接在一起)

 

典的数据结构

type属性和privdata属性是针对不同类型的键值对,为创建多态字典而设置的

type属性是指向dictType结构的指针,每个dictType结构保存了用于操作特定类型键值对的函数,redis会为用途不同的字典设置不同的类型特定函数

privdata属性则保存了需要传给那些类型特定函数的可选参数

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表字典只使用ht[0]哈希表,ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用

除了ht[1]之外另一个和rehash有关的属性就是rehashidx它记录了rehash目前的进度,如果目前没有进行rehash那么它的值为-1

 

dictType的数据结构为

 

主要用到hashFunction来计算哈希值然后和dict->ht[0]->sizemask求&计算出所在table的下标

 

解决hash冲突:

当有两个或以上数量的键被分配到了哈希表数组的同一个索引上面我们称这些键发生了冲突Redis的哈希表使用拉链发来解决冲突,每个哈希表节点都有一个next指针

多个哈希表节点可以用next指针构成一个单向链表,被分配到同一个索引上的多个节点可以用这个单向链表链接起来,新节点总是插在链表的表头

 

rehash:

随着操作的不断执行,哈希表保存的键值对会逐渐地增多或减少,为了让哈希表的负载因子维持在一个合理的

范围内当哈希表保存的键值对数量太多或者太少时程序需要对哈希表的大小进行相应的扩展或者收缩

redis对字典的哈希表执行rehash的步骤如下;

为字典ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作以及ht[0]当前包含的键值对数量(ht[0].used)

如果执行的是扩展操作,那么ht[1]的大小为第一个大于等于ht[0].used*2的n次幂

如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于ht[0].used的2的n次幂

将保存在ht[0]中的所有键值对rehash到ht[1]上面rehash指的是重新计算键的哈希值和索引值,然后将键值对放置到ht[1]哈希表的指定位置上

当ht[0]包含的所有键值对都迁移到了ht[1]之后释放ht[0]将ht[1]设置为ht[0],并在ht[1]新创键一个空白哈希表为下一次rehash做准备

为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面的所有键值对全部rehash到ht[1]而是分多次将ht[0]里面的键值对慢慢地rehash到ht[1]

在进行渐进式rehash的过程中,字典会同时使用ht[0] ht[1]两个哈希表所以在渐进式rehash进行期间字典的删除 查找 更新等操作会在两个哈希表上进行 新添加到字典的键值对一律会保存到ht[1]里面则

ht[0]不再进行任何添加操作

 

 

哈希表的扩展和收缩

当以下条件中的任意一个被满足时,程序会自动开始对哈希表执行扩展操作

1:服务器目前没有在执行bgsave命令或者bgrewriteaof命令、并且哈希表的负载因子大于等于1

2:服务器目前正在执行bgsave命令或者bgrewriteaof命令并且哈希表的负载因子大于等于5

 

posted on 2018-01-04 16:17  paulversion  阅读(4759)  评论(0编辑  收藏  举报