哈希类型，列表类型，集合类型，有序集合类型，慢查询，pipline与事务，发布订阅，Bitmap，HyperLogLog，GEO地理位置信息，持久化（RDB，AOF）

1 API的使用

1.1 哈希类型

###1---hget,hset,hdel
hget key field  #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
#测试
hset user:1:info age 23
hget user:1:info ag
hset user:1:info name lqz
hgetall user:1:info
hdel user:1:info age
###2---hexists,hlen
hexists key field  #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key   #获取hash key field的数量  时间复杂度为 o(1)
hexists user:1:info name
hlen user:1:info  #返回数量
        
###3---hmget，hmset
hmget key field1 field2 ...fieldN  #批量获取hash key 的一批field对应的值  时间复杂度是o(n)
hmset key field1 value1 field2 value2  #批量设置hash key的一批field value 时间复杂度是o(n)

###4--hgetall,hvals，hkeys
hgetall key  #返回hash key 对应的所有field和value  时间复杂度是o(n)
hvals key   #返回hash key 对应的所有field的value  时间复杂度是o(n)
hkeys key   #返回hash key对应的所有field  时间复杂度是o(n)
###小心使用hgetall
##1 计算网站每个用户主页的访问量
hincrby user-1-info pageview count
##2 缓存mysql的信息，直接设置hash格式


##其他操作 hsetnx，hincrby，hincrbyfloat
hsetnx key field value #设置hash key对应field的value（如果field已存在，则失败），时间复杂度o(1)
hincrby key field intCounter #hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key field floatCounter #hincrby 浮点数 时间复杂度o(1)

1.2 列表类型

4.2.1 插入操作
#rpush 从右侧插入
rpush key value1 value2 ...valueN  #时间复杂度为o(1~n)
#lpush 从左侧插入
#linsert
linsert key before|after value newValue   #从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表
linsert listkey before b java
linsert listkey after b php
4.2.2 删除操作
lpop key #从列表左侧弹出一个item 时间复杂度o(1)

rpop key #从列表右侧弹出一个item 时间复杂度o(1)
lrem key count value
#根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右，删除最多count个value相等的项
2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem listkey 0 a #删除列表中所有值a
lrem listkey -1 c #从右侧删除1个c

ltrim key start end #按照索引范围修剪列表 o(n)
ltrim listkey 1 4 #只保留下表1--4的元素
4.2.3 查询操作
lrange key start end #包含end获取列表指定索引范围所有item  o(n)
lrange listkey 0 2
lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素

lindex key index #获取列表指定索引的item  o(n)
lindex listkey 0
lindex listkey -1

llen key #获取列表长度
4.2.3 修改操作
lset key index newValue #设置列表指定索引值为newValue o(n)
lset listkey 2 ppp #把第二个位置设为ppp
4.3 实战
实现timeLine功能，时间轴，微博关注的人，按时间轴排列，在列表中放入关注人的微博的即可

4.4 其他操作
blpop key timeout #lpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
brpop key timeout #rpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)

#要实现栈的功能
lpush+lpop
#实现队列功能
lpush+rpop
#固定大小的列表
lpush+ltrim
#消息队列
lpush+brpop

1.3 集合类型

# 无序，无重复，集合间操作（交叉并补）

sadd key element #向集合key添加element（如果element存在，添加失败） o(1)
srem key element #从集合中的element移除掉 o(1)
scard key #计算集合大小
sismember key element #判断element是否在集合中
srandmember key count #从集合中随机取出count个元素，不会破坏集合中的元素
spop key #从集合中随机弹出一个元素
smembers key #获取集合中所有元素 ，无序，小心使用，会阻塞住 

sdiff user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的交集       
sunion user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的并集              
SINTERSTORE destination key1 [key2] #将差集，交集，并集结果保存在destkey集合中

1.4 有序集合类型

# 介绍
#有一个分值字段，来保证顺序
key                  score                value
user:ranking           1                   lqz
user:ranking           99                  lqz2
user:ranking           88                  lqz3
#集合有序集合
集合：无重复元素，无序，element
有序集合：无重复元素，有序，element+score
#列表和有序集合
列表：可以重复，有序，element


#zset
zadd key score element #score可以重复，可以多个同时添加，element不能重复 o(logN) 

zrem key element #删除元素，可以多个同时删除 o(1)

zscore key element #获取元素的分数 o(1)

zincrby key increScore element #增加或减少元素的分数  o(1)

zcard key #返回元素总个数 o(1)

zrank key element #返回element元素的排名（从小到大排，从0开始）

zrange key 0 -1 #返回排名，不带分数  o(log(n)+m) n是元素个数，m是要获取的值
zrange player:rank 0 -1 withscores #返回排名，带分数

zrangebyscore key minScore maxScore #返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore user:1:ranking 90 210 withscores #获取90分到210分的元素

zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数 o(log(n)+m)

zremrangebyrank key start end #删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2 #删除升序排名中1到2的元素
        
zremrangebyscore key minScore maxScore #删除指定分数内的升序元素 o(log(n)+m)
zremrangebyscore user:1:ranking 90 210 #删除分数90到210之间的元素

zrevrank #从高到低排序
zrevrange #从高到低排序取一定范围
zrevrangebyscore #返回指定分数范围内的降序元素
zinterstore #对两个有序集合交集
zunionstore #对两个有序集合求并集

2 高级用法之慢查询

# 两个重要参数：
slowlog-max-len   慢查询队列的长度
slowlog-log-slower-than=0  时间慢于这个时间，就记录命令

# 配置
# 设置记录所有命令
config set slowlog-log-slower-than 0
# 最多记录100条
config set slowlog-max-len 100
# 持久化到本地配置文件
config rewrite

# 实操
slowlog get [n]  #获取慢查询队列
'''
日志由4个属性组成：
1）日志的标识id
2）发生的时间戳
3）命令耗时
4）执行的命令和参数
'''

slowlog len #获取慢查询队列长度

slowlog reset #清空慢查询队列

3 高级用法之pipline与事务

# 通过管道支持弱事务
Redis的pipeline(管道)功能在命令行中没有，但redis是支持pipeline的，而且在各个语言版的client中都有相应的实现
将一批命令，批量打包，在redis服务端批量计算(执行)，然后把结果批量返回
1次pipeline(n条命令)=1次网络时间+n次命令时间


import redis
pool = redis.ConnectionPool(host='', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
#创建pipeline
pipe = r.pipeline(transaction=True)
#开启事务
pipe.multi()
pipe.set('name', 'lqz')
#其他代码，可能出异常
pipe.set('role', 'nb')
pipe.execute()

4 高级用法之发布订阅

发布者/订阅者/频道:观察者模式

发布者发布了消息，所有的订阅者都可以收到，就是生产者消费者模型（后订阅了，无法获取历史消息）

# 发布消息
publish souhu:tv "hello world"

# 订阅某个频道
subscribe souhu:tv

5 高级用法之Bitmap

# 字符的二进制形式
set hello big
setbit hello 7 1


# 独立用户统计
1 使用set和Bitmap对比

2 1亿用户，5千万独立（1亿用户量，约5千万人访问，统计活跃用户数量）

数据类型	每个userid占用空间	      需要存储用户量	全部内存量
set      	32位(假设userid是整形，占32位)	5千万	    32位*5千万=200MB
bitmap	    1位	                          1亿	   1位*1亿=12.5MB
假设有10万独立用户，使用位图还是占用12.5mb，使用set需要32位*1万=4MB

补充:python的位运算

&   ^   | 

# https://zhuanlan.zhihu.com/p/370167569

6 HyperLogLog

基于HyperLogLog算法：极小的空间完成独立数量统计
pfadd key element #向hyperloglog添加元素,可以同时添加多个
pfcount key #计算hyperloglog的独立总数

# 日活，月活的统计，统计个数，不重复
百万级别独立用户统计，百万条数据只占15k
错误率 0.81%
无法取出单条数据，只能统计个数

7 GEO地理位置信息

# GEO（地理信息定位）：存储经纬度，计算两地距离，范围等
# 增加地理位置
geoadd key longitude latitude member #增加地理位置信息

geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding

# 获取北京的地理位置
geopos cities:locations beijing
# 通过经纬度----》转成位置

# 获取两个地点的距离
geodist cities:locations beijing tianjin km

# 获取某个位置方圆几公里的城市
georadiusbymember cities:locations beijing 150 km

8 持久化

8.1 rdb方法

redis的所有数据保存在内存中，对数据的更新将异步的保存到硬盘上

# 持久化方案
快照：某时某刻数据的一个完成备份，
	-mysql的Dump
    -redis的RDB
写日志：任何操作记录日志，要恢复数据，只要把日志重新走一遍即可
	-mysql的 Binlog
    -Redis的 AOF
    
    
    
    
# rdb方案：触发---》三种
	-手动同步
    	save  
    -手动异步
    	bgsave
    -配置文件
    	save   900        1
        save   300        10
        save   60         10000
        
        
 #rdb最佳配置
save 60 5 
dbfilename dump.rdb
stop-writes-on-bgsave-error yes 
rdbcompression yes
rdbchecksum yes

8.2 aof方案

# AOF的三种策略
always：redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
everysec（默认值）：redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件
no:redis——》写命令刷新的缓冲区—》操作系统决定，缓冲区fsync到硬盘–》AOF文件

# AOF 重写
本质就是把过期的，无用的，重复的，可以优化的命令，来优化,重新启动进程，优化aof日志文件
这样可以减少磁盘占用量，加速恢复速度


# 最佳配置
appendonly yes 
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes