非关系型数据库日常管理 NoSQL

什么是NoSQL

非关系型数据库就是NoSQL，关系型数据库代表MySQL
对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索
NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。
NoSQL数据可以存储在内存里，查询速度非常快
NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库
NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

常见NoSQL数据库

k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。
文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。列存储 Hbase图 Neo4J、Infinite Graph、OrientDB

Redis

Redis 是完全开源的，遵守 BSD 协议，是一个高性能的 key-value 数据库。

Redis 与其他 key - value 缓存产品有以下三个特点：

· Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
· Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
· Redis支持数据的备份，即master-slave模式的数据备份。

Redis安装

安装编译工具

yum install gcc tcl -y  #redis是c语言编写的，所以就需要c语言的编译工具

上传安装

将文件上传到 /usr/local/src 下

[root@localhost src]# tar -zxf redis-6.2.6.tar.gz     #解压文件
[root@localhost src]# cd redis-6.2.6                        #进入文件夹编译安装
[root@localhost redis-6.2.6]# make && make install        #默认安装位置为/usr/local/src/redis-6.2.6

Bin目录文件说明

命令文件名称	作用
redis-benchmark	Redis性能测试工具
redis-check-aof	文件修复工具
redis-check-rdb	文件修复工具
redis-cli	Redis命令行客户端
redis-sentinel	Redis集群管理工具
redis-server	Redis服务进程命令

启动停止redis

默认启动

编译完装完，就已经给我们添加了bin文件，直接输入命令

[root@localhost redis-6.2.6]# redis-server        #前台启动，会占用前台无法连接。

#redis-server  就是使用默认的配置文件启动

后台启动

修改配置文件redis.conf，我们先做个备份

[root@localhost redis-6.2.6]# cp redis.conf redis.conf.bck    #备份redis.conf

[root@localhost redis-6.2.6]# vim redis.conf    

# 允许访问的地址，默认是127.0.0.1，会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问，生产环境不要设置为0.0.0.0
bind 0.0.0.0
# 守护进程，修改为yes后即可后台运行
daemonize yes 
# 密码，设置后访问Redis必须输入密码
requirepass 123321

[root@localhost redis-6.2.6]# redis-server redis.conf    #这时候启动就是后台启动

停止命令

[root@localhost redis-6.2.6]# redis-cli shutdown #利用redis-cli shutdown命令，即可停止redis服务

[root@localhost redis-6.2.6]# redis-cli -u 123321 shutdown #因为之前配置了密码，所以需要通过-u来指定密码

配置开机自启

vim /etc/systemd/system/redis.service    #编写redis.service文件

[Unit]
Description=redis-server
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/bin/redis-server /usr/local/src/redis-6.2.6/redis.conf
PrivateTmp=true

[Install]
WantedBy=multi-user.target

[root@localhost redis-6.2.6]# systemctl daemon-reload  #重新载入服务系统
# 启动
systemctl start redis
# 停止
systemctl stop redis
# 重启
systemctl restart redis
# 查看状态
systemctl status redis
# 设置开机自启
systemctl enable redis

redis客户端

redis有多种客户端，都可以对redis数据库进行操作。

命令行客户端

redis-cli [options] [commonds]

常见的选项：

选项	作用
-h ip	指定连接的redis节点
-p 6379	指定redis的节点端口
-a 密码	指定dedis的访问密码

下面介绍三种进入模式

redis-cli -h 127.0.0.1 -p 6379        #连接本地redis
#你会发现，之前设置了密码但是现在直接进入

虽然此时能够进入，但是几乎无法做任何事。

redis-cli -h 127.0.0.1 -p 6379 -a 123321    #直接使用密码
#Ping就是心跳测试

命令行操作

#创建两个键值对
set name wuhu
set age 18
#切换到其他数据表创建并查看键值

Redis数据类型

string为最简单的类型，与Memcached一样的类型，一个key对应一个value，其支持的操作与Memcached的操作类似，它的功能更丰富。设置可以存二进制的对象。

[root@redis ~]# redis-cli
127.0.0.1:6379> set mykey "aminglinux.com"
OK
127.0.0.1:6379> get mykey
"aminglinux.com"
127.0.0.1:6379> mset key1 1 key2 a key3 c
127.0.0.1:6379> mget key1 key2 key3
1) "1"
2) "a"
3) "c"

list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等。操作中key理解为链表的名字。

使用 list 结构，我们可以轻松地实现最新消息排行等功能（比如新浪微博的 TimeLine ）。list 的另一个应用就是消息队列，可以利用 list 的 push操作，将任务存在 list 中，然后工作线程再用pop操作将任务取出进行执行。

[root@redis ~]# redis-cli 
127.0.0.1:6379> LPUSH list1 "aminglinux"
127.0.0.1:6379> LPUSH list1  "1 2 3"
127.0.0.1:6379> LPUSH list1 "aaa bbb"
127.0.0.1:6379> LRANGE list1 0 -1
1) "aaa bbb"
2) "1 2 3"
3) "aminglinux“
127.0.0.1:6379> LPOP list1

set是集合，和我们数学中的集合概念相似，对集合的操作有添加删除元素，有对多个集合求交并差等操作。操作中key理解为集合的名字。比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。因为 Redis 非常人性化的为集合提供了求交集、并集、差集等操作，那么就可以非常方便的实现如共同关注、共同喜好、二度好友等功能，对上面的所有集合操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。

127.0.0.1:6379> SADD set1 a
127.0.0.1:6379> SADD set1 b
127.0.0.1:6379> SADD set1 c
127.0.0.1:6379> SADD set1 d
127.0.0.1:6379> SMEMBERS set1
1) "d"
2) "b"
3) "a"
4) "c"
127.0.0.1:6379> SREM set1 c//删除元素
127.0.0.1:6379> SADD set2 a 2  b
127.0.0.1:6379> SINTER set1 set2 //交集
127.0.0.1:6379> SUNION set1 set2 //并集
127.0.0.1:6379> SDIFF set1 set2 //差集

sorted set是有序集合，它比set多了一个权重参数score，使得集合中的元素能够按 score 进行有序排列，比如一个存储全班同学成绩的 Sorted Sets，其集合 value 可以是同学的学号，而 score 就可以是其考试得分，这样在数据插入集合的时候，就已经进行了天然的排序。

127.0.0.1:6379> ZADD set3 12 abc
127.0.0.1:6379> ZADD set3 2 "cde 123"
127.0.0.1:6379> ZADD set3 24 "123-aaa"
127.0.0.1:6379> ZADD set3 4 "a123a"
127.0.0.1:6379> ZRANGE set3 0 -1
1) "cde 123"
2) "a123a"
3) "abc"
4) "123-aaa"
倒序 
127.0.0.1:6379> ZREVRANGE set3 0 -1
1) "123-aaa"
2) "abc"
3) "a123a"
4) "cde 123"

在 Memcached 中，我们经常将一些结构化的信息打包成 hashmap，在客户端序列化后存储为一个字符串的值（一般是 JSON 格式），比如用户的昵称、年龄、性别、积分等。

127.0.0.1:6379> hset hash1 name aming
127.0.0.1:6379> hget hash1 name
"aming"
127.0.0.1:6379> hset hash1  age 30
127.0.0.1:6379> hget hash1 age
 "30"
127.0.0.1:6379> hgetall hash1
1) "name"
2) "aming"
3) "age"
4) "30"

Redis常用操作

string, list

set key1 ytlinux
get key1
set key1 ytl//第二次赋值会覆盖
setnx key2 aaa //返回1 如果key2不存在直接创建key
setnx key2 bbb  //返回0，如果key2存在，返回0
setex key3 10 1 //给key3设置过期时间为10s，值为1，若key已经存在，会覆盖新的值
mset k1 1 k2 a k3 c
mget k1 k3 k2
lpush lista a //从左侧加入一个元素
lpush lista b
lrange lista 0 -1 
lpop lista //从左侧取出第一个元素
rpush lista 1 //从右侧加入一个元素
rpop lista //从右侧取出第一个元素

list, set

linsert  lista  before  2 3  //在2的前面插入一个元素为3
lindex lista 0  //查看第1个元素
lindex lista 3  //查看第4个元素
llen lista  //查看链表中有几个元素
sadd seta aaa  //向集合seta中放入元素
smembers seta   //查看集合中的所有元素 
srem  seta    aaa //删除元素 
spop  seta    //随机取出一个元素，删除
sdiffstore setc seta setb   //求差集并且存储，存储到了setc里 
sinter seta setb    //求交集
sinterstore  setd seta setb  //将交集存储setd 
sunion seta setb  //求并集
sunionstore sete seta setb   //求并集并存储到sete

set, zset

sismember seta aaa  //判断一个元素是否属于一个集合
srandmember  seta  //随机取出一个元素，但不删除
zadd zseta 11 123 //创建有序集合
zrange zseta 0 -1   //显示所有元素，按顺序显示
zrange zseta 0 -1 withscores   //可以带上分值
zrem zseta 222  //删除指定元素
zrank zseta  222  //返回元素的索引值，索引值从0开始，按score正向排序
zrevrank zseta 222   //同上，不同的是，按score反序排序
zcard zseta  //返回集合中所有元素的个数
zcount  zseta 1 10  //  返回分值范围1-10的元素个数
zrangebyscore  zseta 1 10 // 返回分值范围1-10的元素
zremrangebyrank zseta  0 2  //删除索引范围0-2的元素，按score正向排序
zremrangebyscore zseta  1 10 //删除分值范围1-10的元素

hash

hset user1  name ytl  //建立hash
hset user1 age 30 
hset user1 job  it
hgetall user1
hmset user2  name ytl age 28  job it    //批量建立键值对
hmget user2 name age  job
hdel user2 job   //删除指定filed
hkeys user2   //打印所有的key
hvals user2  //打印所有的values
hlen user2  //查看hash有几个filed

键值

keys *    //取出所有key
keys my* //模糊匹配
exists name  //有name键 返回1 ，否则返回0；
del  key1 // 删除一个key    //成功返回1 ，否则返回0；
EXPIRE key1 100  //设置key1 100s后过期
ttl key // 查看键 还有多长时间过期，单位是s,当 key 不存在时，返回 -2 。 当 key 存在但没有设置剩余生存时间时，返回 -1 。 否则，返回 key 的剩余生存时间。
select  0  //代表选择当前数据库，默认进入0 数据库
move age 1  // 把age 移动到1 数据库
persist key1   //取消key1的过期时间
randomkey //随机返回一个key
rename oldname newname //重命名key
type key1 //返回键的类型

服务

dbsize  //返回当前数据库中key的数目
info  //返回redis数据库状态信息
flushdb //清空当前数据库中所有的键
flushall    //清空所有数据库中的所有的key
bgsave //保存数据到 rdb文件中，在后台运行
save //作用同上，但是在前台运行
config get * //获取所有配置参数
config get dir  //获取配置参数
config set dir  //更改配置参数
数据恢复： 首先定义或者确定dir目录和dbfilename，然后把备份的rdb文件放到dir目录下面，重启redis服务即可恢复数据

Redis安全设置

设置监听ip

bind 127.0.0.1 + ip //可以是多个ip，用空格分隔

设置监听端口

port 16000  #port+端口

设置密码

redis-cli  -a 'aming>com'

将config命令改名

rename-command CONFIG aming

禁掉config命令

rename-command CONFIG “”

Redis慢查询日志

编辑配置文件/etc/redis.conf

针对慢查询日志，可以设置两个参数，一个是执行时长，单位是微秒，另一个是慢查询日志的长度。当一个新的命令被写入日志时，最老的一条会从命令日志队列中被移除。

 slowlog-log-slower-than 1000 //单位ms，表示慢于1000ms则记录日志
 slowlog-max-len 128  //定义日志长度，表示最多存128条
 slowlog get //列出所有的慢查询日志
 slowlog get 2 //只列出2条
 slowlog len //查看慢查询日志条数

PHP中使用redis

安装扩展模块

# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo #挂载阿里云镜像

yum install wget php php-devel zlib-devel gcc -y    #安装所需工具
cd /usr/local/src    #进入src目录
wget https://pecl.php.net/get/redis-4.0.1.tgz    #获取redis包
tar -zxf redis-4.0.1.tgz    #解压redis包
cd redis-4.0.1    #进入redis解压文件夹
phpize    #扩展库扫描
./configure --with-php-config=/usr/bin/php-config    #安装
make && make install    #编译安装

vim /usr/local/php.ini #增加extension=redis.so

php -m | grep redis    #查看是否有redis模块

存储session

vim /etc/php.ini    #进入php配置文件
session.save_handler = "redis" 
session.save_path = "tcp://127.0.0.1:6379" 

vim /var/www/session.php    #创建session.php文件
<?php
    //连接本地的 Redis 服务
   $redis = new Redis();
   $redis->connect('127.0.0.1', 6379);
   echo "Connection to server successfully";
         //查看服务是否运行
   echo "Server is running: " . $redis->ping();
?>

php /var/www/html/session.php    #启动session

当从网页中打开是如下显示，即连接成功

Redis主从配置

为了节省资源，我们可以在一台机器上启动两个redis服务

 cp /etc/redis.conf  /etc/redis2.conf
 vi /etc/redis2.conf //需要修改port,dir,pidfile,
 还要增加一行
 slaveof 127.0.0.1 6379

启动之前不要忘记创建新的dir目录

 redis-server /etc/redis2.conf

测试：在主上创建新的key，在从上查看

注意：redis主从和mysql主从不一样，redis主从不用事先同步数据，它会自动同步过去

Redis集群

多个redis节点网络互联，数据共享

所有的节点都是一主一从（可以是多个从），其中从不提供服务，仅作为备用

不支持同时处理多个键（如mset/mget），因为redis需要把键均匀分布在各个节点上，并发量很高的情况下同时创建键值会降低性能并导致不可预测的行为。

支持在线增加、删除节点

客户端可以连任何一个主节点进行读写

（1） Redis集群配置

场景设置：

两台机器，分别开启三个Redis服务(端口)

A机器上三个端口7000,7002,7004，全部为主

B机器上三个端口7001,7003,7005，全部为从

两台机器上都要编译安装redis,然后编辑并复制3个不同的redis.conf，分别设置不同的端口号、dir等参数，还需要增加cluster相关参数，然后分别启动6个redis服务

安装ruby2.2 （只需要一台机器上运行）

 #yum -y groupinstall "Development Tools"
 #yum -y install gdbm-devel libdb4-devel libffi-devel libyaml libyaml-devel ncurses-devel openssl-devel readline-devel tcl-deve
 #cd /root/
 #mkdir -p rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}
 #wget http://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz -P rpmbuild/SOURCES
 #wget https://raw.githubusercontent.com/tjinjin/automate-ruby-rpm/master/ruby22x.spec -P rpmbuild/SPECS
 #rpmbuild -bb rpmbuild/SPECS/ruby22x.spec
 #yum -y localinstall rpmbuild/RPMS/x86_64/ruby-2.2.3-1.el7.centos.x86_64.rpm
 #gem install redis

操作

cp /usr/local/src/redis-4.0.1/src/redis-trib.rb  /usr/bin/
redis-trib.rb create --replicas 1 192.168.133.130:7000 192.168.133.130:7002 192.168.133.130:7004 192.168.133.132:7001 192.168.133.132:7003 192.168.133.132:7005
 redis-cli -c -h 192.168.133.130 -p 7000//-c说明以集群的方式登录
 任意一个节点都可以创建key，或者查看key（演示）
 redis-trib.rb check  192.168.133.130:7000//检测集群状态
 cluster nodes//列出节点
 cluster info//查看集群信息
 cluster meet ip port //添加节点
 cluster forget node_id //移除某个节点
 cluster replicate node_id//将当前节点设置为指定节点的从
 cluster saveconfig//保存配置文件