大数据-redis

redis

分布式缓存数据库

单节点安装

  • tar -zxvf redis-3.2.9.tar.gz

  • cd /opt/sxt/redis-3.2.9

  • yum -y install gcc tcl (依赖安装)

  • make （在/opt/sxt/redis-3.2.9目录下）

  • make install （目录同上）

  • 修改配置文件：vim redis.conf

    daemonize：yes（后台运行）

    bind 127.0.0.1 192.168.163.201 （配置本机ip）

  • 启动并指定配置：redis-server /opt/sxt/redis-3.2.9/redis.conf

  • 本地启动客户端 redis-cli

  • 关闭进程方法

    ps -ef | grep redis 查找redis的进程号

    kill -9 xxx 杀死进程

命令行

库与key操作

 

String操作

 

List操作

 

Set操作

 

Sorted set操作

 

hash操作

 

主从节点操作

用于从节点的临时操作，使用在程序运行期

  • 外部节点临时成为从节点命令：slaveof 192.168.163.201 6379

    连接到主节点后，原有数据清空，再同步主节点数据

  • 从节点临时解除从属命令：slaveof no one （不会清理掉同步到的数据）

持久化

RDB

  • 对内存保存快照到硬盘 dump.rdb（默认存放在配置文件的目录下）

  • 触发：60s内1w条数据；300s内10条数据；900s内1条数据（配置文件中的save属性）

  • 正常关机会触发rdb，开机时再将快照恢复到内存中

  • 关闭rdb

    临时关闭rdb: 命令 config set save ""

    永久关闭edb：配置文件 save "" ，其他save配置注释

  • 单次触发

    命令sava ，手动触发rdb，阻塞执行

    bgsave，手动触发rdb，后台执行，不触发rdb

  • 可能导致数据丢失

AOF

  • 保存操作日志（aof文件 appendonly.aof），默认存放在配置文件的目录下

  • redis优先使用aof恢复数据，也就是重写执行日志文件（rdb优先级在后）

  • 日志重写时，存在数据丢失的风险

  • redis.conf的参数配置

    1. 设置aof启动：appendonly yes

      优先使用aof持久化（rdb优先级在后）

    2. appendfsync 策略

      • always：实时保存，数据不会丢失，效率差（日志持久化后响应数据存储完成）

      • everysec：1s保存一次日志，默认 （不需要等待日志持久化）

      • no： 将日志数据交给操作系统来处理，数据不安全，速度最快

    3. rewrite 机制

      合并日志文件，对日志文件解析压缩（去除无效数据）

      配置参数

      重写时不支持插入数据：no-appendfsync-on-rewrite no

      扩展倍数：auto-aof-rewrite-percentage 默认100(增加一倍)（到达基准存储大小后扩展日志文件的最大空间，避免重复空间扩展）

      日志基准大小：auto-aof-rewrite-min-size 默认64M (日志文件的初始大小上限，日志文件大小达到基准大小，则启动日志重写)

  • 清空数据 flushall 。若需要恢复数据只能修改aof文件后才能实现

主从复制

主节点执行客户端读写操作，再将数据同步到从节点。从节点一般只执行读操作。

主从复制实现读写分离。

数据后台同步：非阻塞异步复制，1s执行一次 （同步时故障，少量写入的数据丢失）

集群：从节点也能创建其自身的从节点

配置主从节点

  • 复制项目与命令目录

    cd /opt/sxt
    scp -r redis-3.2.9 node2:`pwd`
    scp -r redis-3.2.9 node3:`pwd`
    cd /usr/local/bin
    scp * node2:`pwd` 
    scp * node3:`pwd`

  • 修改配置文件

    • 配置本地ip

      bind 127.0.0.1 192.168.163.202

    • 从节点中配置主节点ip和端口（默认端口是6379）

      slaveof 192.168.163.201 6379

  • redis账号密码

    • 主节点配置 requirepass <password>

    • 从节点配置 masterauth <password>

  • 主节点生效条件，满足条件主节点才执行写操作

    最少从节点数 min-slaves-to-write <number of slaves>

    最大延迟 min-slaves-max-lag <number of seconds>

  • 启动主从节点（3节点同时执行）

    redis-server redis.conf

    redis-cli

哨兵sentinel

实时监控主从节点，故障提示，自动故障迁移。

哨兵自动故障迁移时切换的主从关系是永久性的，修改了各节点的配置文件中的主从配置信息

原主机掉线后，重新上线哨兵会修改这个节点的从属配置，其成为一个从节点

哨兵是一个集群，通过投票判断节点离线。

配置哨兵

  1. 进入配置文件

    vim /opt/sxt/redis-3.2.9/sentinel.conf

    • 修改：主从集群名；当前主节点ip和端口 ；断线投票数 （可以配置多个小集群）

      sentinel monitor mymaster 192.168.78.101 6379 2

      通过主节点，哨兵获取从节点与其他哨兵

    • 修改掉线判断时间，默认30s哨兵确认掉线

    • sentinel down-after-milliseconds mymaster 30000

    • 故障迁移时间，超时认为迁移失败

      sentinel failover-timeout mymaster 180000

    • 故障迁移时，几个节点多新的主节点进行数据同步

      sentinel parallel-syncs mymaster 1

    • 关闭保护模式

      protected-mode no

    本次使用自己的配置文件,不是用修改的配置文件

    sentinel monitor mymaster 192.168.163.201 6379 2
    sentinel down-after-milliseconds mymaster 30000
    sentinel failover-timeout mymaster 180000
    sentinel parallel-syncs mymaster 1
    protected-mode no

  2. 将配置文件复制到其他节点中

    scp sentinel.conf node2:/opt/sxt/redis-3.2.9

    scp sentinel.conf node3:/opt/sxt/redis-3.2.9

  3. 启动redis与哨兵（redis目录下）

    redis-server redis.conf

    redis-sentinel sentinel.conf

    在哨兵日志中能够看到哨兵节点与redis节点的连接信息

分布式集群

从3版本开始支持。

原理：根据key计算hash，hash值对指定值(16384)类型取余运算，得到16384个哈希槽，数据进入不同的哈希槽。哈希槽分布在分布式集群的各节点上。

哈希槽的数据能够在后台，在节点之间迁移，不会导致节点阻塞。

哈希槽的迁移能够实现控制节点上下线，自动分配数据。

分布式也支持主从节点复制。

数据一致性问题

  • 同步丢失，主从节点进行数据同步，采用非阻塞复制，1s执行一次 （若同步时故障，少量写入的数据丢失）

  • 集群分裂，且一个客户端与至少包括一个主节点在内的少数（minority）实例被孤立。

    重新连接后，分裂出去的节点同步后失去部分数据。

    集群分裂解决方案：自检发现自己为节点少数方，自动下线，减少数据的丢失

搭建分布式

配置6个配置文件，通过配置文件启动6个节点

配置不同的端口使得有个机器上运行若干redis节点

  1. 配置文件 redis.conf

    • 开启的端口：port 7000

    • 集群可用：cluster-enabled yes

    • 集群配置：cluster-config-file nodes.conf

    • 节点超时：cluster-node-timeout 5000

    • aof持久化：appendonly yes

    • 后台进程：daemonize yes

    • 保护模式关闭protected-mode no 

    port 7001
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    appendonly yes
    daemonize yes
    protected-mode no

  2. 将不同的配置文件置入不同文件夹中，使得持久化数据进入不同的目录

    例如：在redis目录下建立cluster文件夹，其中创建7000文件夹与7001文件夹

    7000目录放置7000端口的配置文件；7001目录放置7001端口的配置文件

    本次配置中，3台机器，每台机器上各设置7000端口与7001端口两个redis节点

  3. 启动redis各节点

  4. 安装ruby相关依赖（单节点执行）

    yum install ruby

    yum install rubygems

    gem install redis-3.2.1.gem 使用本地安装redis-3.2.1.gem，在这个文件的路径下执行gem命令

  5. 集群构建

    replicas参数：

    表示主节点分配一个从节点，也就是说6个节点中（3主3从）

    表示主节点分配二个从节点，也就是说6个节点中（2主4从）

    最后接上各节点的ip与端口

    cd /opt/sxt/redis-3.2.9/src 
    ./redis-trib.rb create --replicas 1 192.168.163.201:7000 192.168.163.201:7001 192.168.163.202:7000 192.168.163.202:7001 192.168.163.203:7000 192.168.163.203:7001

  6. 连接集群

    redis-cli -p 7000 -c （指定7000端口连接，允许自动节点切换）

    redis-cli -h node1 -p 7000 -c （指定主机+ip，允许自动节点切换）

  7. 关闭集群

    客户端执行命令shutdown

    或者liunx命令执行节点关闭：redis-cli -p 7001 shutdown

redis的API

 

 

 

posted @ 2019-10-19 09:52  小布大佬  阅读(328)  评论(0)  编辑  收藏  举报