Redis基础知识（学习笔记13--BitMap、HyperLogLog 与 Geospatial的操作命令）

一. BitMap操作命令

1.1 BitMap 简介

BitMap 是Redis 2.2.0 版本中引入的一种新的数据类型。该数据类型本质上就是一个仅包含0和1的二进制字符串。而其所有相关命令都是对这个字符串二进制位的操作。用于描述该字符串的属性有三个：key、offset、bitvalue。

*** key：BitMap是Redis的key-value中的一种Value的数据类型，所以该Value一定有其对应的Key。

 *** offset：每个BitMap数据都是一个字符串，字符串中的每个字符都有其对应的索引，该索引从0开始计数。该索引就称为每个字符在该BitMap中的偏移量offset。这个offset的值的范围是【0，2^32 -1】，即该offset的最大值为4G-1，即4294967295，42亿多。

*** bitBalue：每个BitMap数据中都是一个仅包含0和1的二进制字符串，每个offset位上的字符就称为该位的值bitValue。bitValue的值非0即1。

1.2 setbit

setbit key offset value

 为给定key的bitmap数据的offset位置设置值为value。其返回值为修改前该offset位置的bitvalue。

说明：对于原bitmap字符串中不存在的offset进行赋值，字符串会自动伸展以确保它可以将value保存在指定的offset上。当字符串值进行伸展时，空白位置以0填充。当然，设置的value只能是0或1。不过需要注意的是，对使用较大offset的setbit操作来说，内存分配过程可能造成Redis服务器被阻塞。

 1.3 getbit

GETBIT key offset

对 key 所储存的字符串值，获取指定偏移量上的位(bit)。

说明：返回值为字符串值指定偏移量上的位(bit)。当 offset 比字符串值的长度大，或者 key 不存在时，返回 0 。

1.4 bitcount

BITCOUNT key [start] [end]

计算给定字符串中，被设置为 1 的比特位的数量。

说明：一般情况下，给定的整个字符串都会被进行计数，通过指定额外的 start 或 end 参数，可以让计数只在特定的位上进行。start 和 end 参数的设置和 GETRANGE 命令类似，都可以使用负数值： 比如 -1 表示最后一个字节， -2 表示倒数第二个字节，以此类推。不存在的 key 被当成是空字符串来处理，因此对一个不存在的 key 进行 BITCOUNT 操作，结果为 0 。

 1.5.bitpos

bitpos key bit [start] [end]

返回key指定的bitmap中第一个值为指定值bit（非0即1）二进制的位置。pos，即position,位置。在默认情况下，命令将检测整个bitmap，但用户也可以通过可选的start参数和end参数指定要检测的范围。

说明：start与end的意义与bitcount命令中的相同。

1.6 bitop

bitop operation destkey key [key...]

对一个或多个bitmap字符串key进行二进制位操作，并将结果保存到destkey上。operation可以是 and、or、not、xor这四种操作中的任意一种：

*** bitop and destkey key [key...]：对一个或多个bitmap 执行 按位与 操作，并将结果保存到destkey。

*** bitop or destkey key [key...]：对一个或多个bitmap 执行 按位或 操作，并将结果保存到destkey。

*** bitop xor destkey key [key...]：对一个或多个bitmap 执行 按位异或 操作，并将结果保存到destkey。

*** bitop and destkey key [key...]：对一个或多个bitmap 执行 按位非 操作，并将结果保存到destkey。

 说明：

*** 除了not操作之外，其他操作都可以接受一个或多个bitmap作为输入。

*** 除了not操作之外，其他对一个bitmap的操作其实就是一个复制。

*** 如果参与运算的多个bitmap长度不同，较短的bitmap会以0作为补充位，和输入 key 中最长的字符串长度相等。

1.7 应用场景

由于offset的取值范围很大，所以其一般应用于大数据量的二值性统计。例如平台活跃用户的统计（二值：访问或未访问）、支持率统计（二值：支持或不支持）、员工考勤统计（二值：上班或未上班）、图像二值化（二值：黑或白）等。

不过，对于数据量较小的二值性统计并不适合BitMap，可能使用Set更为合适。当然，具体多少数据量适合用于Set，超过多少数据量适合用于BitMap，这需要根据具体场景进行具体分析。

例如，一个平台要统计日活跃用户数量。如果使用Set来统计，只需上线一个用户，就将其用户ID写入Set集合即可，最后只需统计出Set集合中的元素个数即可完成统计。即Set集合占用内存的大小与上线用户数量成正比。假设用户ID为m位bit位，当前活跃用户数量为n，则该Set集合的大小最少应该是m*n字节。而如果使用BitMap来统计，则需要先定义出一个BitMap，其占用的bit位至少为注册用户数量。只需上线一个用户，就立即使其中一个bit位置为1，最后只需统计出BitMap中1的个数即可完成统计。即BitMap占用内存的大小与注册用户数量成正比，与上线用户数量无关。假设平台具有注册用户数量为N，则BitMap的长度至少为N个bit位，即N/8字符。何时使用BitMap更合适？可以看各自内存的大小，那个占用的内存少，推荐使用那个。

 

 二. HyperLogLog 操作命令

2.1 HyperLogLog 简介

HyperLogLog 是Redis 2.8.9 版本中引入的一种新的数据类型，其意义是HyperLog Log，超级日志记录。该数据类型可以简单理解为一个set集合，集合元素为字符串。但实际上HyperLogLog是一种计数概率算法，通过该算法可以利用极小的内存完成独立总数的统计。其所有相关命令都是对这个“set集合”的操作。

2.2 pfadd

PFADD key element [element ...]

将任意数量的元素添加到指定的 HyperLogLog 里面。如果 HyperLogLog 的内部储存被修改了， 那么返回 1 ， 否则返回 0 。

说明：作为这个命令的副作用， HyperLogLog 内部可能会被更新， 以便反映一个不同的唯一元素估计数量（也即是集合的基数）。如果 HyperLogLog 估计的近似基数（approximated cardinality）在命令执行之后出现了变化， 那么命令返回 1 ， 否则返回 0 。 如果命令执行时给定的键不存在， 那么程序将先创建一个空的 HyperLogLog 结构， 然后再执行命令。调用 PFADD 命令时可以只给定键名而不给定元素：（1）如果给定键已经是一个 HyperLogLog ， 那么这种调用不会产生任何效果；（2）但如果给定的键不存在， 那么命令会创建一个空的 HyperLogLog ， 并向客户端返回 1 。

2.3 pfcount

PFCOUNT key [key ...]

当 PFCOUNT 命令作用于单个键时， 返回储存在给定键的 HyperLogLog 的近似基数， 如果键不存在， 那么返回 0 。

说明：当 PFCOUNT 命令作用于多个键时， 返回所有给定 HyperLogLog 的并集的近似基数， 这个近似基数是通过将所有给定 HyperLogLog 合并至一个临时 HyperLogLog 来计算得出的。通过 HyperLogLog 数据结构， 用户可以使用少量固定大小的内存， 来储存集合中的唯一元素 （每个 HyperLogLog 只需使用 12k 字节内存，以及几个字节的内存来储存键本身）。命令返回的可见集合（observed set）基数并不是精确值， 而是一个带有 0.81% 标准错误（standard error）的近似值。举个例子， 为了记录一天会执行多少次各不相同的搜索查询， 一个程序可以在每次执行搜索查询时调用一次 PFADD ， 并通过调用 PFCOUNT 命令来获取这个记录的近似结果。

2.4 pfmerge

PFMERGE destkey sourcekey [sourcekey ...]

将多个 HyperLogLog 合并（merge）为一个 HyperLogLog ， 合并后的 HyperLogLog 的基数接近于所有输入 HyperLogLog 的可见集合（observed set）的并集。字符串回复：返回 OK 。

说明：合并得出的 HyperLogLog 会被储存在 destkey 键里面， 如果该键并不存在， 那么命令在执行之前， 会先为该键创建一个空的 HyperLogLog 。

2.5 应用场景

HyperLogLog 可对数据量超级庞大的日志数据做不精确的去重计数统计。当然。这个不精确的度在Redis官方给出的误差是0.81%。这个误差对于大多数超大数据量场景是被允许的。对于平台上每个页面每天的UV数据，非常适合使用HyperLogLog进行记录。

 

三. Geospatial操作命令

3.1 Geospatial 简介

Geospatial，地理空间

Redis在3.2版本中引入了Geospatial这种新的数据类型。该类型本质上仍是一种集合。只不过集合元素比较特殊，是一种由三部分构成的数据结构，这种数据结构称为空间元素：

*** 经度：longitude。有效经度为【-180，180】.正的表示东经，负的表示西经。

*** 纬度：latitude。有效维度为【-85.05112878，85.05112878】。正的表示北纬，负的表示南纬。

*** 位置名称：为该经纬度所标注的位置所命名的名称，也称为该Geospatial集合的空间元素名称。

通过该类型可以设置、查询某地理位置的经纬度，查询某范围内的空间元素，计算两空间元素间的距离等。

3.2 geoadd

GEOADD key longitude latitude member [longitude latitude member ...]

将给定的空间元素（纬度、经度、名字）添加到指定的键里面。 这些数据会以有序集合的形式被储存在键里面， 从而使得像 GEORADIUS 和 GEORADIUSBYMEMBER 这样的命令可以在之后通过位置查询取得这些元素。返回值：新添加到键里面的空间元素数量， 不包括那些已经存在但是被更新的元素。

说明：GEOADD 命令以标准的 x,y 格式接受参数， 所以用户必须先输入经度， 然后再输入纬度。 GEOADD 能够记录的坐标是有限的： 非常接近两极的区域是无法被索引的。当用户尝试输入一个超出范围的经度或者纬度时， GEOADD 命令将返回一个错误。

3.3 geopos

GEOPOS key member [member ...]

从键里面返回所有给定位置元素的位置（经度和纬度）。

说明：因为 GEOPOS 命令接受可变数量的位置元素作为输入， 所以即使用户只给定了一个位置元素， 命令也会返回数组回复。GEOPOS 命令返回一个数组， 数组中的每个项都由两个元素组成： 第一个元素为给定位置元素的经度， 而第二个元素则为给定位置元素的纬度。当给定的位置元素不存在时， 对应的数组项为空值。

3.4 geodist

GEODIST key member1 member2 [unit]

返回两个给定位置之间的距离。如果两个位置之间的其中一个不存在， 那么命令返回空值。

说明：指定单位的参数 unit 必须是以下单位的其中一个：m 表示单位为米；km 表示单位为千米；mi 表示单位为英里；ft 表示单位为英尺。如果用户没有显式地指定单位参数， 那么 GEODIST 默认使用米作为单位。GEODIST 命令在计算距离时会假设地球为完美的球形， 在极限情况下， 这一假设最大会造成 0.5% 的误差。

3.5 geohash

GEOHASH key member [member ...]

返回一个或多个位置元素的 Geohash 表示。

说明：geohash是一种地址编码方法。它能够把二维的空间经纬度数据编码成一个字符串。该值主要用于底层应用或者调试。实际中的作用不大。

3.6 georadius

GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [ASC|DESC] [COUNT count]

以给定的经纬度为中心， 返回指定地理空间中键包含的所有位置元素当中， 与中心的距离不超过给定最大距离的所有位置元素（换句话说，不超过给定半径的元素）。返回时还可携带额外的信息：

***WITHDIST ： 在返回位置元素的同时， 将位置元素与中心之间的距离也一并返回。 距离的单位和用户给定的范围单位保持一致。
*** WITHCOORD ： 将位置元素的经度和维度也一并返回。
*** WITHHASH ： 以 52 位有符号整数的形式， 返回位置元素经过原始 geohash 编码的有序集合分值。 这个选项主要用于底层应用或者调试， 实际中的作用并不大。

说明：（1）范围可以使用以下其中一个单位：m 表示单位为米；km 表示单位为千米；mi 表示单位为英里；ft 表示单位为英尺。（2）命令默认返回未排序的位置元素。 通过以下两个参数， 用户可以指定被返回位置元素的排序方式：ASC ： 根据中心的位置， 按照从近到远的方式返回位置元素；DESC ： 根据中心的位置， 按照从远到近的方式返回位置元素。（3）在默认情况下， GEORADIUS 命令会返回所有匹配的位置元素。 虽然用户可以使用 COUNT <count> 选项去获取前 N 个匹配元素， 但是因为命令在内部可能会需要对所有被匹配的元素进行处理， 所以在对一个非常大的区域进行搜索时， 即使只使用 COUNT 选项去获取少量元素， 命令的执行速度也可能会非常慢。 但是从另一方面来说， 使用 COUNT 选项去减少需要返回的元素数量， 对于减少带宽来说仍然是非常有用的。（4）

GEORADIUS 命令返回一个数组， 具体来说：在没有给定任何 WITH 选项的情况下， 命令只会返回一个像 ["New York","Milan","Paris"] 这样的线性（linear）列表。在指定了 WITHCOORD 、 WITHDIST 、 WITHHASH 等选项的情况下， 命令返回一个二层嵌套数组， 内层的每个子数组就表示一个元素。
在返回嵌套数组时， 子数组的第一个元素总是位置元素的名字。 至于额外的信息， 则会作为子数组的后续元素， 按照以下顺序被返回：【【以浮点数格式返回的中心与位置元素之间的距离， 单位与用户指定范围时的单位一致；geohash 整数；由两个元素组成的坐标，分别为经度和纬度。】】

3.7 GEORADIUSBYMEMBER

GEORADIUSBYMEMBER key member radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [ASC|DESC] [COUNT count]

这个命令和 GEORADIUS 命令一样， 都可以找出位于指定范围内的元素， 但是 GEORADIUSBYMEMBER 的中心点是由给定的位置元素决定的， 而不是像 GEORADIUS 那样， 使用输入的经度和纬度来决定中心点。

说明，其返回值为一个数组， 数组中的每个项表示一个范围之内的位置元素。

3.8 应用场景

Geospatial 的意义是地理位置，所以其主要应用地理位置相关的计算。例如，微信发送中的“附近”功能，添加好友中“雷达加朋友”功能；QQ动态中的“附近”功能；钉钉中的“签到”功能等。

 

学习参阅声明

1.【Redis视频从入门到高级】

https://www.bilibili.com/video/BV1U24y1y7jF?p=11&vd_source=0e347fbc6c2b049143afaa5a15abfc1c】

2. 【Redis 命令参考】

https://haiyong.site/doc/redis/redis-gh-pages/hash/hscan.html