1.Redis简介和安装
一.Redis简介
-
NoSQL介绍:用于解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
-
NoSQL数据库的四大分类:
-
键值存储数据库:Redis,Oracle BDB,Voldemort
-
列存储数据库:HBase
-
文档型数据库:MongoDb
-
图形数据库:Neo4J
-
-
NoSQL数据库适用场景:
-
数据模型比较简单
-
需要灵活性更强的IT系统
-
对数据库性能要求较高
-
不需要高度的数据一致性
-
对于给定key,比较容易映射复杂值的环境
-
-
Redis优点:开源、免费、高性能、K-V数据库、内存数据库、非关系型数据库,支持持久化、集群和事务。
-
Redis缺点:持久化时将数据存储在内存中会使内存占用过高,使用定时快照代价非常高
二.Redis安装(Linux)
1.安装gcc: yum -y install gcc automake autoconf libtool make
注意:
运行yum时出现/var/run/yum.pid已被锁定,PID为xxxx的另一个程序正在运行的问题解决 : rm -f /var/run/yum.pid
2.安装Redis
(1)下载Redis 5.0: wget http://download.redis.io/releases/redis-5.0.0.tar.gz
(2)解压到/opt目录下: tar zxvf redis-5.0.0.tar.gz -C /opt
(3)进入/opt/redis-5.0.0目录编译Redis: [root@ustc-wzh redis-5.0.0]# make
(4)安装Redis: [root@ustc-wzh redis-5.0.0]# make PREFIX=/usr/local/redis install
(5)执行Redis服务端:
1.先进入/usr/local/redis/bin目录下: [root@ustc-wzh redis-5.0.0]# cd /usr/local/redis/bin/
2.执行Redis服务端: [root@ustc-wzh bin]# ./redis-server ,使用端口号为6379
3.启动Redis客户端: [root@ustc-wzh bin]# ./redis-cli
4.启动客户端
1.语法: ./redis-cli -h IP地址 -p 端口号 ,默认IP为本机127.0.0.1,端口6379
2.例子: [root@ustc-wzh bin]# ./redis-cli -h 127.0.0.1 -p 6379
5.客户端测试服务端是否启动:客户端输入PING,服务端响应PONG为成功
127.0.0.1:6379> PING
PONG
6.通过进程查看redis:
[root@ustc-wzh bin]# ps -ef | grep -i redis
root 26463 20368 0 23:20 pts/0 00:00:01 ./redis-server *:6379
root 27010 26731 0 23:31 pts/1 00:00:00 ./redis-cli -h 127.0.0.1 -p 6379
root 27450 27393 0 23:39 pts/2 00:00:00 grep --color=auto -i redis
7.客户端存取值:
127.0.0.1:6379> set age 25
OK
127.0.0.1:6379> get age
"25"
三.Redis配置详解
1.配置Redis
(1)将/opt/redis-5.0.0目录下的redis.conf复制到/usr/local/redis目录:通过修改/usr/local/redis/redis.conf来配置redis
[root@ustc-wzh bin]# cp /opt/redis-5.0.0/redis.conf /usr/local/redis/
(2)redis.conf的30个属性(带星号的为重点)
前10个:
**1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程 daemonize no 2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定 pidfile /var/run/redis.pid **3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379 在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字 port 6379 **4. 绑定的主机地址 bind 127.0.0.1 5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能 timeout 300 6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose loglevel verbose 7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日 志将会发送给/dev/null logfile stdout **8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id databases 16 **9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合 save <seconds> <changes> Redis默认配置文件中提供了三个条件: save 900 1 save 300 10 save 60 10000 分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。 **10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF(压缩算法)压缩,如果为了节省CPU时间,可 以关闭该选项,但会导致数据库文件变的巨大 rdbcompression yes
中间10个:
**11. 指定本地数据库文件名,默认值为dump.rdb dbfilename dump.rdb **12. 指定本地数据库存放目录结尾10个 dir ./ 13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步 slaveof <masterip> <masterport> 14. 当master服务设置了密码保护时,slav服务连接master的密码 masterauth <master-password> **15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默 认关闭 requirepass foobared 16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件 描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回 max number of clients reached错误信息 maxclients 128 17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即 将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的 vm机制,会把Key存放内存,Value会存放在swap区 maxmemory <bytes> 18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电 时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内 只存在于内存中。默认为no appendonly no 19. 指定更新日志文件名,默认为appendonly.aof appendfilename appendonly.aof 20. 指定更新日志条件,共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) everysec:表示每秒同步一次(折衷,默认值) appendfsync everysec
最后10个:
21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷
数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
vm-enabled no
22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的
(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为
0
vm-max-memory 0
24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vmpage-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如
果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
vm-page-size 32
25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个
pages将消耗1byte的内存。
vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会
造成比较长时间的延迟。默认值为4
vm-max-threads 4
27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
activerehashing yes
30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的
特定配置文件
include /path/to/local.conf
2.Redis中内存维护策略
(1)补充:
-
客户端查看所有存储的key以及过期时间:
127.0.0.1:6379> keys * 1) "age" 2) "name" 127.0.0.1:6379> ttl name (integer) -1 127.0.0.1:6379> ttl age (integer) -1
-
客户端设置key的过期时间:
127.0.0.1:6379> expire name 15 (integer) 1 127.0.0.1:6379> ttl name (integer) 5 127.0.0.1:6379> ttl name (integer) -2 127.0.0.1:6379> ttl name (integer) -2 127.0.0.1:6379> keys * 1) "age"
注:ttl 命令显示-1表示永久保留在内存,-2表示过期数据,0或正数表示剩余时间
(2)Redis中解决内存溢出的两种方式
【1】.方式一:为数据设置超时时间
expire key time(以秒为单位)--这是最常用的方式
setex(String key, int seconds, String value)--字符串独有的方式
-
除了字符串自己独有设置过期时间的方法外,其他方法都需要依靠expire方法来设置时间
-
如果没有设置时间,那缓存就是永不过期
-
如果设置了过期时间,之后又想让缓存永不过期,使用persist key
【2】.方式二:使用LRU算法
-
内存管理的一种页面置换算法,对于在内存中但又不用的数据块(内存块)叫做LRU,
-
操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。
-
参数设置
1.volatile-lru:设定超时时间的数据中,删除最不常使用的数据. 2.allkeys-lru:查询所有的key中最近最不常使用的数据进行删除,这是应用最广泛的策略. 3.volatile-random:在已经设定了超时的数据中随机删除. 4.allkeys-random:查询所有的key,之后随机删除. 5.volatile-ttl:查询全部设定超时时间的数据,之后排序,将马上将要过期的数据进行删除操作. 6.noeviction:如果设置为该属性,则不会进行删除操作,如果内存溢出则报错返回. 7.volatile-lfu:从所有配置了过期时间的键中驱逐使用频率最少的键 8.allkeys-lfu:从所有键中驱逐使用频率最少的键
3.自定义Redis
(1)进入/usr/local/redis目录修改redis.conf文件: vim redis.conf
(2)修改内容:设置使用守护进程启动,设置允许外部及其访问,设置数据库密码为123456
daemonize no 修改为 daemonize yes 守护进程启动
bind 127.0.01 注释掉 允许除本机外的机器访问Redis服务
requirepass 设置密码 设定数据库密码 (保证服务安全/有些情况下不设定密码是无法进行远程连接访问的)
(3)使用自定义的配置启动Redis: [root@ustc-wzh redis]# ./bin/redis-server redis.conf
(4)客户端登陆:
语法:
redis-cli -h host -p port -a password //redis-cli –h IP地址 –p 端口 –a 密码
使用:
[root@ustc-wzh bin]# ./redis-cli -h 127.0.0.1 -p 6379 -a 123456
4.关闭Redis服务端的两种方法
(1)方法一:强制关机(断电,杀进程)【会造成内存中的数据没有保存到硬盘上,产生数据丢失】
[root@ustc-wzh redis]# ps -ef | grep -i redis
root 31616 1 0 01:02 ? 00:00:00 ./bin/redis-server *:6379
root 31909 27393 0 01:08 pts/2 00:00:00 grep --color=auto -i redis
[root@ustc-wzh redis]# kill 9 31616
[root@ustc-wzh redis]# ps -ef | grep -i redis
root 31922 27393 0 01:08 pts/2 00:00:00 grep --color=auto -i redis
(2)正常关闭:只能通过客户端关闭服务端【数据不会丢失】
【1】直接使用密码shutdown:
[root@ustc-wzh bin]# ./redis-cli -a 123456 shutdown
【2】登录之后shutdown:
[root@ustc-wzh bin]# ./redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> shutdown
not connected>
5.远程连接Redis
(1)工具:Redis Desktop Manager
(2)阿里云Linux服务器需要设置安全组:TCP连接,开启端口6379/6379,0.0.0.0/0
(3)启动防火墙服务,开启防火墙端口为6379,重启防火墙,查看防火墙列表:
[root@ustc-wzh redis]# systemctl start firewalld.service 启动防火墙服务
[root@ustc-wzh redis]# firewall-cmd --zone=public --add-port=6379/tcp --permanent 开启防火墙的端口6379
success
[root@ustc-wzh redis]# firewall-cmd --reload 重启防火墙
success
[root@ustc-wzh redis]# firewall-cmd --list-ports 查看防火墙列表
6379/tcp
(4)使用工具连接Redis数据库
6.使用docker启动redis
(1)启动docker运行redis:
[root@ustc-wzh redis]# docker run --rm -d --name=docker_redis -p 6379:6379 redis:5.0 --requirepass "123456"
(2)如果docker出错则重启docker: systemctl restart docker ,再启动redis
(3)在docker中启动redis客户端并且赋值:
[root@ustc-wzh redis]# docker exec -it docker_redis redis-cli -h 127.0.0.1 -p 6379 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> keys *
(empty list or set)
127.0.0.1:6379> set name 王
OK
127.0.0.1:6379> get name
"\xe7\x8e\x8b"
补充:docker 的详细配置Redis
# 创建并运行一个名为 myredis 的容器
docker run \
-p 6379:6379 \
-v $PWD/data:/data \
-v $PWD/conf/redis.conf:/etc/redis/redis.conf \
--privileged=true \
--name myredis \
-d redis redis-server /etc/redis/redis.conf
# 命令分解
docker run \
-p 6379:6379 \ # 端口映射 宿主机:容器
-v $PWD/data:/data:rw \ # 映射数据目录 rw 为读写
-v $PWD/conf/redis.conf:/etc/redis/redis.conf:ro \ # 挂载配置文件 ro 为readonly
--privileged=true \ # 给与一些权限
--name myredis \ # 给容器起个名字
-d redis redis-server /etc/redis/redis.conf # deamon 运行 服务使用指定的配置文件