redis性能优化

https://www.cnblogs.com/williamjie/p/9660427.html

redis性能优化

一、redis 查看性能命令

info：
    server : 一般 Redis 服务器信息，包含以下域：

        redis_version : Redis 服务器版本
        redis_git_sha1 : Git SHA1
        redis_git_dirty : Git dirty flag
        os : Redis 服务器的宿主操作系统
        arch_bits : 架构（32 或 64 位）
        multiplexing_api : Redis 所使用的事件处理机制
        gcc_version : 编译 Redis 时所使用的 GCC 版本
        process_id : 服务器进程的 PID
        run_id : Redis 服务器的随机标识符（用于 Sentinel 和集群）
        tcp_port : TCP/IP 监听端口
        uptime_in_seconds : 自 Redis 服务器启动以来，经过的秒数
        uptime_in_days : 自 Redis 服务器启动以来，经过的天数
        lru_clock : 以分钟为单位进行自增的时钟，用于 LRU 管理
    clients : 已连接客户端信息，包含以下域：

        connected_clients : 已连接客户端的数量（不包括通过从属服务器连接的客户端）
        client_longest_output_list : 当前连接的客户端当中，最长的输出列表
        client_longest_input_buf : 当前连接的客户端当中，最大输入缓存
        blocked_clients : 正在等待阻塞命令（BLPOP、BRPOP、BRPOPLPUSH）的客户端的数量
    memory : 内存信息，包含以下域：

        used_memory : 由 Redis 分配器分配的内存总量，以字节（byte）为单位
        used_memory_human : 以人类可读的格式返回 Redis 分配的内存总量
        used_memory_rss : 从操作系统的角度，返回 Redis 已分配的内存总量（俗称常驻集大小）。这个值和 top 、 ps 等命令的输出一致。
        used_memory_peak : Redis 的内存消耗峰值（以字节为单位）
        used_memory_peak_human : 以人类可读的格式返回 Redis 的内存消耗峰值
        used_memory_lua : Lua 引擎所使用的内存大小（以字节为单位）
        mem_fragmentation_ratio : used_memory_rss 和 used_memory 之间的比率
        mem_allocator : 在编译时指定的， Redis 所使用的内存分配器。可以是 libc 、 jemalloc 或者 tcmalloc 。
    在理想情况下， used_memory_rss 的值应该只比 used_memory 稍微高一点儿。

    当 rss > used ，且两者的值相差较大时，表示存在（内部或外部的）内存碎片。

    内存碎片的比率可以通过 mem_fragmentation_ratio 的值看出。

    当 used > rss 时，表示 Redis 的部分内存被操作系统换出到交换空间了，在这种情况下，操作可能会产生明显的延迟。

    当 Redis 释放内存时，分配器可能会，也可能不会，将内存返还给操作系统。

    如果 Redis 释放了内存，却没有将内存返还给操作系统，那么 used_memory 的值可能和操作系统显示的 Redis 内存占用并不一致。

    查看 used_memory_peak 的值可以验证这种情况是否发生。

    persistence : RDB 和 AOF 的相关信息

    stats : 一般统计信息

    replication : 主/从复制信息

    cpu : CPU 计算量统计信息

    commandstats : Redis 命令统计信息

    cluster : Redis 集群信息

    keyspace : 数据库相关的统计信息 

二、RDB和AOF

Redis 默认开启RDB持久化方式，在指定的时间间隔内，执行指定次数的写操作，则将内存中的数据写入到磁盘中。
RDB 持久化适合大规模的数据恢复但它的数据一致性和完整性较差。
Redis 需要手动开启AOF持久化方式，默认是每秒将写操作日志追加到AOF文件中。
AOF 的数据完整性比RDB高，但记录内容多了，会影响数据恢复的效率。
Redis 针对 AOF文件大的问题，提供重写的瘦身机制。
若只打算用Redis 做缓存，可以关闭持久化。
若打算使用Redis 的持久化。建议RDB和AOF都开启。其实RDB更适合做数据的备份，留一后手。AOF出问题了，还有RDB。

三、redis性能问题和分析

1、因内存交换引起的性能问题

问题：
内存使用率是Redis服务最关键的一部分，Redis实例的内存使用率超过可用最大内存（used_memory>used_memory_rss）操作系统开始进行内存与swap空间交换，把内存中旧的和不再使用的内容写入到硬盘中，内存发生交换，严重影响性能
使用redis期间没有开启 RDB快照和AOF持久化策略，那么缓存数据的redis崩溃时会有数据丢失的风险，当内存使用率超过内存的95% 部分数据开始在内存与swap空间来回交换，就可能出现数据丢失

方案：
1、redis位数选择
如果缓存数据小于4G，用32位的redis，因为32位实例的指针只有64位的一半，它的空间占用会小些
如果实例共享给其他应用使用，需要使用更高效的64位redis实例
2、使用Hash数据结构
尽可能使用Hash数据结构，因为Redis在存储小于100个字段的Hash结构上，其存储效率是非常高的，如果不需要操作set或list的push/pop操作时，尽可能使用Hash结构
3、使用key的过期时间
用Redis过期时间命令(expire,expireat, pexpire, pexpireat)去设置过期时间，这样Redis会在key过期时自动删除key
4、回收key
在redis配置文件（redis.conf），通过maxmemory属性的值可以限制redis最大的使用内存，或者使用 config set maxmemory 能立即生效，但是重启后会失效。
若是启用快照功能，应该设置 maxmemory为系统内存的 45%，因为快照时需要一倍多内存来复制整个数据集，95%的内存占用 45%实际占用、45%快照占用，5%其他开销

2、因命令处理总数产生的性能问题

问题：
    跟踪命令处理总数是解决响应延迟最关键的部分，redis是单线程模型，客户端过来的命令是单线程执行千兆网卡延迟为200微秒，延迟超过 200微秒，redis命令队列等待处理的命令数量比较多。

    1、命令队列里的命令数量过多，后面命令一直在等待中

    2、几个慢命令阻塞Redis 


解决方案：
    1、使用多参数命令
        set  -> mset
        get  -> mget
        lset -> lpush, rpush
        lindex -> lrange
        hset -> hmset
        hget -> hmget

    2、管道命令
    将几个命令合并一起执行，从而减少因网络开销引起的延迟问题
    3、避免操作大集合的慢命令，减少使用高时间复杂的命令，能显著提高redis性能

3、延迟时间

查看引发延迟的慢命令
redis-cli --latency

监控客户端连接
info clients

限制客户端连接数

maxclients属性上修改客户端连接的最大数，也可以通过在Redis-cli工具上输入config set maxclients 去设置最大连接数，设置在 110-150之间

加强内存管理

性能数据指标

4、内存碎片率

问题：
info信息中的mem_fragmentation_ratio给出了内存碎片率的数据指标，它是由操系统分配的内存除以Redis分配的内存得出：

mem_fragmentation_ratio = used_memory_rss / used_memory
used_memory和used_memory_rss都包含的内存分配有：

用户定义的数据：内存被用来存储key-value值。

内部开销： 存储内部Redis信息用来表示不同的数据类型。

解决办法
1、重启redis服务器：内存碎片率超过1.5，重启能够将碎片内存重新变为新内存使用
2、限制内存交换，增加可用物理内存和减少实例内存占用
3、修改内存分配器，Redis支持glibc’s malloc、jemalloc11、tcmalloc几种不同的内存分配器

5、回收key

根据key回收定位性能问题，
配置文件中设置maxmemory-policy值为“volatile-lru”或“volatile-ttl”，来确定Redis是使用lru策略还是过期时间策略

解决办法
1、增加内存限制
2、对实例进行分片
    a. Hash分片：一个比较简单的方法实现，通过Hash函数计算出key的Hash值，然后值所在范围对应特定的Redis实例。

    b. 代理分片：客户端把请求发送到代理上，代理通过分片配置表选择对应的Redis实例。 如Twitter的Twemproxy，豌豆荚的codis。

    c. 一致性Hash分片

    d. 虚拟桶分片