Linux-基础学习（五）-mariadb主从复制以及redis学习

开始今日份整理

1.mariadb的主从复制

主从复制大致图示：

1.1 mysql基本命令复习

linux下的操作

1.启动mysql
systemctl start mariadb 

2.linux客户端连接自己 
mysql -uroot -p -h 127.0.0.1

3.远程链接mysql服务端
mysql -uroot -p -h 192.168.11.37

4.修改mysql密码
MariaDB [(none)]> set password = PASSWORD('redhat123');

5.创建mysql用户
create user test1@'%' identified by 'xc666';

6.查询mysql库中的用户信息
use mysql;
select host,user,password from  user;

7.授权语句
给test1这个用户，授予创建数据库的权限

mysql使用grant命令对账户进行授权，grant命令常见格式如下

grant 权限 on 数据库.表名 to 账户@主机名            对特定数据库中的特定表授权
grant 权限 on 数据库.* to 账户@主机名            　　对特定数据库中的所有表给与授权
grant 权限1,权限2,权限3 on *.* to 账户@主机名   　　 对所有库中的所有表给与多个授权
grant all privileges on *.* to 账户@主机名   　　 对所有库和所有表授权所有权限

#授予test1创建的权限，对于所有的库表生效
grant create  on *.* to test1@"%"  identified by 'xc666';
#授予test1用户，只有创建mymysql数据库的权限
grant create  on mymysql.* to test1@"%"  identified by 'xc666';

#授予用户最大的权限，所有的权限
grant all privileges on *.* to username@'%' identified by 'password';


8.移除权限
MariaDB [(none)]> revoke all privileges on *.* from test1@"%" identified by 'xc666';


9.数据库的备份与恢复
#备份
mysqldump -u root -p --all-databases > /tmp/db.sql
#数据导入，方式有2种
source /tmp/db.sql;

第二种
mysql -uroot -p <  /tmp/db.sql 


第三种
navicat

第四种，如果你数据量特别大的话，使用第三方工具
xtrabackup

1.2 mysql的主从复制

MySQL数据库的主从复制方案，是其自带的功能，并且主从复制并不是复制磁盘上的数据库文件，而是通过binlog日志复制到需要同步的从服务器上。

MySQL数据库支持单向、双向、链式级联，等不同业务场景的复制。在复制的过程中，一台服务器充当主服务器（Master），接收来自用户的内容更新，而一个或多个其他的服务器充当从服务器（slave），接收来自Master上binlog文件的日志内容，解析出SQL，重新更新到Slave，使得主从服务器数据达到一致。

主从复制的逻辑有以下几种

一主一从，单向主从同步模式，只能在Master端写入数据

一主多从

双主主复制逻辑架构，此架构可以在Master1或Master2进行数据写入，或者两端同事写入（特殊设置）

在生产环境中，MySQL主从复制都是异步的复制方式，即不是严格的实时复制，但是给用户的体验都是实时的。
MySQL主从复制集群功能使得MySQL数据库支持大规模高并发读写成为可能，且有效的保护了服务器宕机的数据备份。

应用场景：

利用复制功能当Master服务器出现问题时，我们可以人工的切换到从服务器继续提供服务，此时服务器的数据和宕机时的数据几乎完全一致。
复制功能也可用作数据备份，但是如果人为的执行drop,delete等语句删除，那么从库的备份功能也就失效了.

主从机制实现原理

主从复制原理七步曲

1. 主数据库写入数据之后， 会有data changes(数据变化)记录
2. 有变化记录之后，将增删改的一些sql语句记录到本地的Binary log(二进制日志)中
3. 从库会一直开启着一个线程
4. 通过线程去读取这个二进制日志的内容
5. 从库会将数据写入到自己的Relay log(中继日志)中
6. 从库会将中继日志中的操作转化为SQL thread(SQL语句)
7. 通过转化的SQL语句写入到自己的数据库, 两边的数据就一致了

1.3 mariadb主从复制实验

实验需求：准备两台数据库服务器

主服务器： 192.168.1.44
从服务器:  192.168.1.121

1.3.1 在主服务器上操作

（1）停止主服务器mariadb数据库服务

systemctl stop mariadb

（2）修改主服务器配置文件并重新启动数据库服务

在mysqld中输入上图中俩句话

server -id=1
log-bin=qishi-login

（3）新建用于主从同步的用户tiger,允许登录的从库是'192.168.1.121'

create user 'xiaochun'@'%' identified by 'xc666';

（4）给从库账号授权,说明给tiger从库复制的权限，在192.168.1.121机器上复制

grant replication slave on *.* to 'xiaochun'@'%';

（5）检查主库创建的复制账号以及权限

select user,host from mysql.user;
show grants for xiaochun@'192.168.1.121';

（6）实现对主数据库锁表只读，防止数据写入，数据复制失败

flush table with read lock;

（7）检查主库的状态, 并记录下日志文件的名字，和位置

MariaDB [(none)]> show master status;

记录下主数据库的写入状态和日志文件的名字

（8）锁表后，单独在打开一个SSH窗口，导出数据库的所有数据

注意，一定要单独再打开一个SSH窗口！！！！！

1.3.2 在从库上配置

（1）关闭数据库服务

systemctl stop mariadb

（2）在从库上配置数据库服务

在从库192.168.1.121 上打开/etc/my.cnf

[mysqld]
server-id=3
read-only=true

（3）重启数据库

systemctl restart mariadb

（4）导入主库传过来的数据库文件，保持从库的数据与主库一致

mysql -u root -p
source /opt/masterdb.sql

（5）配置复制的参数，Slave从库连接Master主库的配置

###配置此处，需要根据之前主库的内容
mysql > change master to master_host='192.168.1.121',
master_user='test2',
master_password='password-0',
master_log_file='qishi-logbin.000002',
master_log_pos=365;

（6）启动从库的同步开关，测试主从复制的情况

start slave;

（7）查看复制状态

show slave status\G;

注意：如果看到Slave_IO_Running和Slave_SQL_Running这两个参数都为yes, 说明主从同步配置成功，否则需要检查并重新配置

（8）测试主从是否同步后，需要将主库的数据库解锁

需要知道的是这步是在主库中敲

unlock tables

在主库中新建数据库后，从库同样会将数据库同步过来

1.3.3 主从读写分离

上面同步后，此时主从同步就已经完成配置了，双方都登录xiaochun账号，在主库创建一个库，再看从库已经成功复制过来了，再到从库上面尝试创建库或写入数据，无法写入，因为从库设置了只读。

注：

注意此处还未配置从库的只读模式，只需在slave服务器上配置/etc/my.cnf，加上以下配置，并且在slave上创建普通用户，使用普通用户主从同步即可达到只读的效果

如果用root用户，无法达到readonly，这是一个坑，一定要加上read-only =true

[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci
log-error=/var/log/mysqld.log
server-id=3
read-only=true
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

最后，提示请看图:

2.redis基础学习

2.1 redis的编译安装

（1）下载redis源码

wget http://download.redis.io/releases/redis-4.0.10.tar.gz

（2）解压缩

tar -zxf redis-4.0.10.tar.gz

（3）切换redis源码目录

cd redis-4.0.10

（4）编译源文件

make

（5）编译好后，src/目录下有编译好的redis指令

（6）make install 安装到指定目录，默认在/usr/local/bin

（7）在/opt下创建一个专门用来存放redis配置文件的目录

mkdir /opt/redis_conf

（8）进入/opt/redis_conf目录下

vim redis-6379.conf

写入以下配置

#####需要注意的是：后面的中文不可以复制进去！！！！
port 6379                         # 运行在6379的redis数据库实例
daemonize yes                     # 后台运行redis  
pidfile /data/6379/redis.pid      # 存放redis pid的文件
loglevel notice                   # 日志等级
logfile "/data/6379/redis.log"    # 指定redis日志文件的生成目录
dir /data/6379                    # 指定redis数据文件夹的目录
protected-mode yes                # 安全模式
requirepass   haohaio             # 设置redis的密码

（9）启动redis服务

redis-server /opt/redis_conf/redis-6379.conf

2.2 yum安装redis

#前提得配置好阿里云yum源，epel源
#查看是否有redis包
yum list redis
#安装redis
yum install redis -y
#安装好，启动redis
systemctl start redis

2.3 使用redis客户端

使用redis客户端

# 执行客户端命令即可进入
./redis-cli
# 或指定参数
redis-cli  -p 6380  -a  zhuanqq
    -p  设置redis链接的端口
    -a  显示的填写密码
    --raw 使用原始格式

# 测试是否连接上redis
127.0.0.1:6379 > ping
返回pong代表连接上了

# 用set来设置key、value
127.0.0.1:6379 > set name "tiger"
OK
# get获取name的值
127.0.0.1:6379 > get name
"tiger"

2.4 redis数据结构

redis是一种高级的key：value存储系统，其中value支持五种数据类型
字符串（strings）
散列（hashes）
列表（lists）
集合（sets）
有序集合（sorted sets）

数据结构示例

2.4.1 strings类型

set 设置key
get 获取key
append 追加string
mset 设置多个键值对
mget 获取多个键值对
del 删除key
incr 递增+1
decr 递减-1

127.0.0.1:6379> set name 'tt'   #设置key
OK
127.0.0.1:6379> get name　　　　#获取value
"tt"
127.0.0.1:6379> set name 'tiger'　　#覆盖key
OK
127.0.0.1:6379> get name　　　　#获取value
"tiger"
127.0.0.1:6379> append name ' dsb' 　　#追加key的string
(integer) 10
127.0.0.1:6379> get name　　#获取value
"tiger dsb"
127.0.0.1:6379> mset user1 'alex' user2 'xiaopeiqi'　　　　#设置多个键值对
OK
127.0.0.1:6379> get user1　　　　#获取value
"alex"
127.0.0.1:6379> get user2　　　　#获取value
"xiaopeiqi"
127.0.0.1:6379> keys *　　　　　　#找到所有key
1) "user2"
2) "name"
3) "user1"

127.0.0.1:6379> mget user1 user2 name   #获取多个value
1) "alex"
2) "xiaopeiqi"
3) "tiger dsb"
127.0.0.1:6379> del name　　　　　　　　#删除key
(integer) 1
127.0.0.1:6379> get name　　　　　　　　#获取不存在的value，为nil
(nil)
127.0.0.1:6379> set num 10　　　　#string类型实际上不仅仅包括字符串类型，还包括整型，浮点型。redis可对整个字符串或字符串一部分进行操作，而对于整型/浮点型可进行自增、自减操作。
OK　　　　
127.0.0.1:6379> get num
"10"
127.0.0.1:6379> incr num　　　　#给num string 加一 INCR 命令将字符串值解析成整型，将其加一，最后将结果保存为新的字符串值，可以用作计数器
(integer) 11
127.0.0.1:6379> get num　　
"11"

127.0.0.1:6379> decr num　　　　　　#递减1  
(integer) 10
127.0.0.1:6379> decr num　　　　#递减1
(integer) 9
127.0.0.1:6379> get num
"9"

2.4.2 list类型

lpush 从列表左边插
rpush 从列表右边插
lrange 获取一定长度的元素 lrange key start stop
ltrim 截取一定长度列表
lpop 删除最左边一个元素
rpop 删除最右边一个元素
lpushx/rpushx key存在则添加值，不存在不处理

lpush duilie 'alex' 'peiqi' 'ritian'  #新建一个duilie，从左边放入三个元素

llen duilie  #查看duilie长度

lrange duilie 0 -1  #查看duilie所有元素

rpush duilie 'tiger'   #从右边插入tiger

lpushx duilie2  'dsb'  #key存在则添加 dsb元素，key不存在则不作处理

ltrim duilie 0 2  #截取队列的值，从索引0取到2，删除其余的元素

lpop #删除左边的第一个
rpop #删除右边的第一个

2.4.3 sets集合类型

redis的集合，是一种无序的集合，集合中的元素没有先后顺序。

集合相关的操作也很丰富，如添加新元素、删除已有元素、取交集、取并集、取差集等。我们来看例子：

sadd/srem 添加/删除元素
sismember 判断是否为set的一个元素
smembers 返回集合所有的成员
sdiff 返回一个集合和其他集合的差异
sinter 返回几个集合的交集
sunion 返回几个集合的并集

sadd zoo  wupeiqi yuanhao  #添加集合，有三个元素，不加引号就当做字符串处理

smembers zoo  #查看集合zoo成员

srem zoo  wupeiqi #删除zoo里面的alex

sismember zoo wupeiqi  #返回改是否是zoo的成员信息，不存在返回0，存在返回1

sadd zoo wupeiqi   #再把wupeiqi加入zoo

smembers zoo  #查看zoo成员

sadd zoo2 wupeiqi mjj #添加新集合zoo2

sdiff zoo zoo2 #找出集合zoo中有的，而zoo2中没有的元素

sdiff zoo2  zoo  #找出zoo2中有，而zoo没有的元素

sinter zoo zoo1   #找出zoo和zoo1的交集，都有的元素

sunion  zoo zoo1  #找出zoo和zoo1的并集，所有的不重复的元素

2.4.4 哈希数据结构

hashes即哈希。哈希是从redis-2.0.0版本之后才有的数据结构。

hashes存的是字符串和字符串值之间的映射，hash特别适合用于存储对象，比如一个用户要存储其全名、姓氏、年龄等等，就很适合使用哈希。

Redis 中每个 hash 可以存储 2³² - 1 键值对（40多亿）。

hset 设置散列值
hget 获取散列值
hgetall获取在哈希表中指定 key 的所有字段和值
hmset 设置多对散列值
hmget 获取多对散列值
hsetnx 如果散列已经存在，则不设置（防止覆盖key）
hkeys 返回所有keys
hvals 返回所有values
hlen 返回散列包含域（field）的数量
hdel 删除散列指定的域（field）
hexists 判断是否存在

redis hash是一个string类型的field和value的映射表

语法  hset key field value  

hset news:1   title "first news title" #设置第一条新闻 news的id为1，添加数据title的值是"first news title"

hset news:1 content "news content"    #添加一个conntent内容

hget news:1 title   #获取news:1的标题

hget news:1  content  #获取news的内容

hmget news:1  title content   #获取多对news:1的 值

hmset news:2 title "second news title" content "second Contents2"   #设置第二条新闻news:2 多个field

hmget news:2 title  content #获取news:2的多个值

hkeys news:1   #获取新闻news:1的所有key

hvals news:1   #获取新闻news:1的所有值

hlen news:1    #获取新闻news:1的长度

hdel news:1 title   #删除新闻news:1的title

hlen news:1     #看下新闻news:1的长度

hexists news:1 title    #判断新闻1中是否有title，不存在返回0，存在返回1

2.5 python操作redis

2.5.1 启动redis

这里注意对配置文件修改

打开注释，不然py客户端连不上　　

守护模式不开就no　　

指定配置文件进行启动　　

然后准备设置redis验证密码（不然py连接报错）

退出，重新登录redis　　

2.5.2 python操作redis

#!/usr/bin/env python 
# -*- coding:utf8 -*-

import redis

r = redis.Redis(host='192.168.11.122',password='123123',port=6379)

r.set('foo', 'Bar')
print (r.get('foo'))

2.5.3 线程池操作redis

'''
redis-py 使用connection pool 来管理对一个redis server的所有连接，避免每次建立，释放连接的开销
默认 每个redis实例都会维护一个自己的链接池,然后作为参数redis,这样就可以实现多个redis 实例共享一个连接池
'''
import redis

pool = redis.ConnectionPool(host='192.168.11.122',password='123123',port=6379)

r = redis.Redis(connection_pool=pool)
r.set('name','tiger')
print(r.get('name'))

posted @ 2019-04-10 09:17 柴犬砍柴阅读(340) 评论(0) 编辑收藏举报

刷新页面返回顶部

柴犬砍柴