redis源码学习之intset
参考《Redis 设计与实现》 (基于redis3.0.0) 作者:黄健宏
学习redis3.2.13
介绍
intset是redis中保留整数值集合的抽象数据结构。它可以保存int16,int32,int64的整数值,集合中的元素由小到大存储,集合中不会保存重复的元素。
当集合只包含整数值元素,并且集合元素不多时,redis会使用intset作为集合键的底层实现
整数集合的结构
typedef struct intset {
//编码方式,标记集合中存储的整数类型
uint32_t encoding;
//集合中存储的整数个数
uint32_t length;
//存储整数的数组
int8_t contents[];
} intset;
和SDS一样,intset也使用了柔性数组,并有一个指明数组长度的成员:
- contents用于保存整数,整数在contents中从小到大依次保存,方便利用二分法提高操作整数集合的性能
- length用于记录已保存整数的个数
为了支持多类型整数存储,intset中使用了变量encoding,用于记录数组中元素的实际类型,intset支持整数的类型如下:
/* Note that these encodings are ordered, so:
* INTSET_ENC_INT16 < INTSET_ENC_INT32 < INTSET_ENC_INT64. */
#define INTSET_ENC_INT16 (sizeof(int16_t))
#define INTSET_ENC_INT32 (sizeof(int32_t))
#define INTSET_ENC_INT64 (sizeof(int64_t))
选用书中的示例:
主要函数学习
创建集合
intset被创建时,默认编码为INTSET_ENC_INT16,即默认存储16位int能表示的整数(-32768到32767)
intset *intsetNew(void) {
intset *is = zmalloc(sizeof(intset));
is->encoding = intrev32ifbe(INTSET_ENC_INT16); //intrev32ifbe是大端转小端宏函数
is->length = 0;
return is;
}
插入整数
插入新整数时,会比较集合的现有编码大小与待插入整数大小,如果待插入数据编码比集合现有编码更大,则需要对集合进行升级,如果小,则需要先查找待插入元素是否存在于集合,以保证值不会重复。
如果查找时发现待插入整数不在集合中,遍返回其可插入的位置供其后续插入。随后对集合扩容,将待插入位置后的每个元素向后移动一个位置,并插入并更新长度
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
uint8_t valenc = _intsetValueEncoding(value);
uint32_t pos;
if (success) *success = 1;
/* Upgrade encoding if necessary. If we need to upgrade, we know that
* this value should be either appended (if > 0) or prepended (if < 0),
* because it lies outside the range of existing values. */
if (valenc > intrev32ifbe(is->encoding)) {
/* This always succeeds, so we don't need to curry *success. */
return intsetUpgradeAndAdd(is,value);
} else {
/* Abort if the value is already present in the set.
* This call will populate "pos" with the right position to insert
* the value when it cannot be found. */
if (intsetSearch(is,value,&pos)) {
if (success) *success = 0;
return is;
}
is = intsetResize(is,intrev32ifbe(is->length)+1);
if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
}
_intsetSet(is,pos,value);
is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
return is;
}
升级集合
升级是将集合中的整型用更大的整数类型去描述。
集合升级贴黄健宏大佬注释过的代码,代码的注释已经很清楚了,无需赘述
/* Upgrades the intset to a larger encoding and inserts the given integer.
*
* 根据值 value 所使用的编码方式,对整数集合的编码进行升级,
* 并将值 value 添加到升级后的整数集合中。
*
* 返回值:添加新元素之后的整数集合
*
* T = O(N)
*/
static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
// 当前的编码方式
uint8_t curenc = intrev32ifbe(is->encoding);
// 新值所需的编码方式
uint8_t newenc = _intsetValueEncoding(value);
// 当前集合的元素数量
int length = intrev32ifbe(is->length);
// 根据 value 的值,决定是将它添加到底层数组的最前端还是最后端
// 注意,因为 value 的编码比集合原有的其他元素的编码都要大
// 所以 value 要么大于集合中的所有元素,要么小于集合中的所有元素
// 因此,value 只能添加到底层数组的最前端或最后端
int prepend = value < 0 ? 1 : 0;
/* First set new encoding and resize */
// 更新集合的编码方式
is->encoding = intrev32ifbe(newenc);
// 根据新编码对集合(的底层数组)进行空间调整
// T = O(N)
is = intsetResize(is,intrev32ifbe(is->length)+1);
/* Upgrade back-to-front so we don't overwrite values.
* Note that the "prepend" variable is used to make sure we have an empty
* space at either the beginning or the end of the intset. */
// 根据集合原来的编码方式,从底层数组中取出集合元素
// 然后再将元素以新编码的方式添加到集合中
// 当完成了这个步骤之后,集合中所有原有的元素就完成了从旧编码到新编码的转换
// 因为新分配的空间都放在数组的后端,所以程序先从后端向前端移动元素
// 举个例子,假设原来有 curenc 编码的三个元素,它们在数组中排列如下:
// | x | y | z |
// 当程序对数组进行重分配之后,数组就被扩容了(符号 ? 表示未使用的内存):
// | x | y | z | ? | ? | ? |
// 这时程序从数组后端开始,重新插入元素:
// | x | y | z | ? | z | ? |
// | x | y | y | z | ? |
// | x | y | z | ? |
// 最后,程序可以将新元素添加到最后 ? 号标示的位置中:
// | x | y | z | new |
// 上面演示的是新元素比原来的所有元素都大的情况,也即是 prepend == 0
// 当新元素比原来的所有元素都小时(prepend == 1),调整的过程如下:
// | x | y | z | ? | ? | ? |
// | x | y | z | ? | ? | z |
// | x | y | z | ? | y | z |
// | x | y | x | y | z |
// 当添加新值时,原本的 | x | y | 的数据将被新值代替
// | new | x | y | z |
// T = O(N)
while(length--)
_intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));
/* Set the value at the beginning or the end. */
// 设置新值,根据 prepend 的值来决定是添加到数组头还是数组尾
if (prepend)
_intsetSet(is,0,value);
else
_intsetSet(is,intrev32ifbe(is->length),value);
// 更新整数集合的元素数量
is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
return is;
}
编码判断_intsetValueEncoding:
static uint8_t _intsetValueEncoding(int64_t v) {
if (v < INT32_MIN || v > INT32_MAX) //超过32位int的表示范围则需要使用64位int来表示
return INTSET_ENC_INT64;
else if (v < INT16_MIN || v > INT16_MAX)
return INTSET_ENC_INT32;
else
return INTSET_ENC_INT16;
}
整数值的存储于获取都是通过指定类型大小的偏移来实现的:
static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
int64_t v64;
int32_t v32;
int16_t v16;
if (enc == INTSET_ENC_INT64) {
memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64));
memrev64ifbe(&v64); //大端转小端宏函数
return v64;
} else if (enc == INTSET_ENC_INT32) {
memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
memrev32ifbe(&v32);
return v32;
} else {
memcpy(&v16,((int16_t*)is->contents)+pos,sizeof(v16));
memrev16ifbe(&v16);
return v16;
}
}
static void _intsetSet(intset *is, int pos, int64_t value) {
uint32_t encoding = intrev32ifbe(is->encoding);
if (encoding == INTSET_ENC_INT64) {
((int64_t*)is->contents)[pos] = value;
memrev64ifbe(((int64_t*)is->contents)+pos);
} else if (encoding == INTSET_ENC_INT32) {
((int32_t*)is->contents)[pos] = value;
memrev32ifbe(((int32_t*)is->contents)+pos);
} else {
((int16_t*)is->contents)[pos] = value;
memrev16ifbe(((int16_t*)is->contents)+pos);
}
}
支持升级的好处
- 具有灵活性 在插入比现有整数编码更大类型整数时,intset会自动升级以适应更大的整型,使用者并无感知
- 提高内存使用率 intset默认存储16位大小整数,只要一直不触发升级,就不会增加单位整型的内存占用
容量的调整
根据单位数值大小与个数计算出总占用,随后realloc
static intset *intsetResize(intset *is, uint32_t len) {
uint32_t size = len*intrev32ifbe(is->encoding);
is = zrealloc(is,sizeof(intset)+size);
return is;
}
使用realloc的理由
其实使用malloc->memcpy->free也是可以的,但是作者使用的确实realloc,我觉得原因如下:
- 保留原数组中的内容,免去手动memcpy的性能消耗与操作风险
- 整数集合有缩容的需求,使用realloc缩容(O(1))的性能是malloc/free无法比拟的
- intset没有像sds那样预分配空间,数组的大小总是与整数个数相等,如果使用malloc/free,意味着增加/减少一个整数就需要进行一次malloc->memcpy->free的流程,性能损失严重。同时,由于对齐的需要,内存空间的分配大小总是sizeof(long)的倍数,使得原地址本来就足够连续空间的可能,使得realloc可能并不会引起新空间的分配
没有预留空间可能是因为集合的元素总是一个一个增加或减少,而不是sds那样批量增减字符
查找元素位置或可插入位置
此函数在集合中查找整数value出现的位置,如果集合中没有该元素,则返回可插入该元素的位置
由于整数元素在集合中是有序存储的,故可将元素value与集合头尾比较,来直接判断value是否有存在集合的可能,也可使用二分查找寻找value的具体位置
注意此函数执行后intsetResize函数必不可少,因为通过此函数所得到的位置可能是当前数组的尾后位置
static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
int64_t cur = -1;
/* The value can never be found when the set is empty */
if (intrev32ifbe(is->length) == 0) {
if (pos) *pos = 0;
return 0;
} else {
/* Check for the case where we know we cannot find the value,
* but do know the insert position. */
if (value > _intsetGet(is,intrev32ifbe(is->length)-1)) {
if (pos) *pos = intrev32ifbe(is->length);
return 0;
} else if (value < _intsetGet(is,0)) {
if (pos) *pos = 0;
return 0;
}
}
while(max >= min) {
mid = ((unsigned int)min + (unsigned int)max) >> 1;
cur = _intsetGet(is,mid);
if (value > cur) {
min = mid+1;
} else if (value < cur) {
max = mid-1;
} else {
break;
}
}
if (value == cur) {
if (pos) *pos = mid;
return 1;
} else {
if (pos) *pos = min;
return 0;
}
}
移动元素
由于集合的底层存储结构是数组,增减元素时,免不了会移动元素,指定元素以及其后的元素都会被移动,所以叫MoveTail
static void intsetMoveTail(intset *is, uint32_t from, uint32_t to) {
void *src, *dst;
//会被移动的元素个数,from所在元素以及其后的元素都会被移动
uint32_t bytes = intrev32ifbe(is->length)-from;
uint32_t encoding = intrev32ifbe(is->encoding);
if (encoding == INTSET_ENC_INT64) {
src = (int64_t*)is->contents+from;
dst = (int64_t*)is->contents+to;
bytes *= sizeof(int64_t);
} else if (encoding == INTSET_ENC_INT32) {
src = (int32_t*)is->contents+from;
dst = (int32_t*)is->contents+to;
bytes *= sizeof(int32_t);
} else {
src = (int16_t*)is->contents+from;
dst = (int16_t*)is->contents+to;
bytes *= sizeof(int16_t);
}
memmove(dst,src,bytes);
}
移除元素
编码大小判断在此处非常有用,只有当目标整数的编码大小在集合编码大小的范围内时,目标整数才可能存在,这个判断节省了后续不必要的开销
intset *intsetRemove(intset *is, int64_t value, int *success) {
uint8_t valenc = _intsetValueEncoding(value);
uint32_t pos;
if (success) *success = 0;
if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {
uint32_t len = intrev32ifbe(is->length);
/* We know we can delete */
if (success) *success = 1;
/* Overwrite value with tail and update length */
if (pos < (len-1)) intsetMoveTail(is,pos+1,pos);
is = intsetResize(is,len-1);
is->length = intrev32ifbe(len-1);
}
return is;
}
后记
- 将存储元素的底层结构类型 与标记实际存储类型分开,并提供相应处理函数,可以增加灵活性,实现用户无感知,并节省内存