GTID主从和lamp架构运行原理

目录

• GTID主从
  • GTID概念介绍
  • GTID工作原理
  • GTID主从配置
• lamp
  • lamp简介
  • web服务器工作流程
  • cgi与fastcgi
  • http协议 是什么？
  • lamp架构运行的原理
    • Apache(httpd)
    • PHP
    • MySQL

GTID主从

GTID概念介绍

GTID即全局事务ID (global transaction identifier), 其保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的ID。GTID最初由google实现，官方MySQL在5.6才加入该功能。mysql主从结构在一主一从情况下对于GTID来说就没有优势了，而对于2台主以上的结构优势异常明显，可以在数据不丢失的情况下切换新主。使用GTID需要注意: 在构建主从复制之前，在一台将成为主的实例上进行一些操作（如数据清理等），通过GTID复制，这些在主从成立之前的操作也会被复制到从服务器上，引起复制失败。也就是说通过GTID复制都是从最先开始的事务日志开始，即使这些操作在复制之前执行。比如在server1上执行一些drop、delete的清理操作，接着在server2上执行change的操作，会使得server2也进行server1的清理操作。

GTID实际上是由UUID+TID (即transactionId)组成的。其中UUID(即server_uuid) 产生于auto.conf文件(cat /data/mysql/data/auto.cnf)，是一个MySQL实例的唯一标识。TID代表了该实例上已经提交的事务数量，并且随着事务提交单调递增，所以GTID能够保证每个MySQL实例事务的执行（不会重复执行同一个事务，并且会补全没有执行的事务）。GTID在一组复制中，全局唯一。 下面是一个GTID的具体形式 :
查看uuid

[root@localhost data]# cat auto.cnf 
[auto]
server-uuid=55a5f8ad-10a8-11ed-8d4e-000c29cc77dc

了解了GTID的格式，通过UUID可以知道这个事务在哪个实例上提交的。通过GTID可以极方便的进行复制结构上的故障转移，新主设置，这就很好地解决了下面这个图所展现出来的问题。

如图, Server1(Master)崩溃，根据从上show slave status获得Master_log_File/Read_Master_Log_Pos的值，Server2(Slave)已经跟上了主，Server3(Slave)没有跟上主。这时要是把Server2提升为主，Server3变成Server2的从。这时在Server3上执行change的时候需要做一些计算。

这个问题在5.6的GTID出现后，就显得非常的简单。由于同一事务的GTID在所有节点上的值一致，那么根据Server3当前停止点的GTID就能定位到Server2上的GTID。甚至由于MASTER_AUTO_POSITION功能的出现，我们都不需要知道GTID的具体值，直接使用CHANGE MASTER TO MASTER_HOST='xxx', MASTER_AUTO_POSITION命令就可以直接完成failover的工作。

====== GTID和Binlog的关系 ======

• GTID在binlog中的结构
  

• GTID event 结构
  

• Previous_gtid_log_event
  Previous_gtid_log_event 在每个binlog 头部都会有每次binlog rotate的时候存储在binlog头部Previous-GTIDs在binlog中只会存储在这台机器上执行过的所有binlog，不包括手动设置gtid_purged值。换句话说，如果你手动set global gtid_purged=xx； 那么xx是不会记录在Previous_gtid_log_event中的。

• GTID和Binlog之间的关系是怎么对应的呢? 如何才能找到GTID=? 对应的binlog文件呢？
  假设有4个binlog: bin.001,bin.002,bin.003,bin.004
  bin.001 : Previous-GTIDs=empty; binlog_event有: 1-40
  bin.002 : Previous-GTIDs=1-40; binlog_event有: 41-80
  bin.003 : Previous-GTIDs=1-80; binlog_event有: 81-120
  bin.004 : Previous-GTIDs=1-120; binlog_event有: 121-160
  假设现在我们要找GTID=$A，那么MySQL的扫描顺序为:

• 从最后一个binlog开始扫描（即: bin.004）

• bin.004的Previous-GTIDs=1-120，如果$A=140 > Previous-GTIDs,那么肯定在bin.004中

• bin.004的Previous-GTIDs=1-120，如果$A=88 包含在Previous-GTIDs中,那么继续对比上一个binlog文件 bin.003,然后再循环前面2个步骤，直到找到为止.

====== GTID 重要参数的持久化 =======

• GTID相关参数

参数	comment
gtid_executed	执行过的所有GTID
gtid_purged	丢弃掉的GTID
gtid_mode	GTID模式
gtid_next	session级别的变量，下一个gtid
gtid_owned	正在运行的GTID
enforce_gtid_consistency	保证GTID安全的参数

====== 开启GTID的必备条件 ======　
gtid_mode=on (必选)
enforce-gtid-consistency=1 （必选）
log_bin=mysql-bin （可选） #高可用切换，最好开启该功能
log-slave-updates=1 （可选） #高可用切换，最好打开该功能

GTID工作原理

从服务器连接到主服务器之后，把自己执行过的GTID (Executed_Gtid_Set: 即已经执行的事务编码) 、获取到的GTID (Retrieved_Gtid_Set: 即从库已经接收到主库的事务编号) 发给主服务器，主服务器把从服务器缺少的GTID及对应的transactions发过去补全即可。当主服务器挂掉的时候，找出同步最成功的那台从服务器，直接把它提升为主即可。如果硬要指定某一台不是最新的从服务器提升为主， 先change到同步最成功的那台从服务器， 等把GTID全部补全了，就可以把它提升为主了。

GTID是MySQL 5.6的新特性，可简化MySQL的主从切换以及Failover。GTID用于在binlog中唯一标识一个事务。当事务提交时，MySQL Server在写binlog的时候，会先写一个特殊的Binlog Event，类型为GTID_Event，指定下一个事务的GTID，然后再写事务的Binlog。主从同步时GTID_Event和事务的Binlog都会传递到从库，从库在执行的时候也是用同样的GTID写binlog，这样主从同步以后，就可通过GTID确定从库同步到的位置了。也就是说，无论是级联情况，还是一主多从情况，都可以通过GTID自动找点儿，而无需像之前那样通过File_name和File_position找点儿了。

简而言之，GTID的工作流程为：

• master更新数据时，会在事务前产生GTID，一同记录到binlog日志中。
• slave端的i/o 线程将变更的binlog，写入到本地的relay log中。
• sql线程从relay log中获取GTID，然后对比slave端的binlog是否有记录。
• 如果有记录，说明该GTID的事务已经执行，slave会忽略。
• 如果没有记录，slave就会从relay log中执行该GTID的事务，并记录到binlog。
• 在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。

GTID主从配置

环境说明：

数据库角色	IP	应用与系统版本
主数据库	172.16.12.128	centos8/redhat8,mysql-5.7
从数据库	172.16.12.129	centos8/redhat8,mysql-5.7

删除传统主从

删除mysql_bin的文件
[root@localhost data]# rm -rf mysql_bin.*
查看
[root@localhost data]# ll
[root@localhost data]# mysql -uroot -p123456
删除用户
mysql> use mysql
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> drop user 'repl'@'192.168.203.136';
Query OK, 0 rows affected (0.10 sec)

mysql> exit
删除配置文件
[root@localhost data]# vim /etc/my.cnf 
[mysqld]
basedir = /usr/local/mysql
datadir = /opt/data
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/data/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
[root@localhost data]# systemctl  restart mysqld

删除从库的中继日志
[root@localhost data]# rm -rf mysql-relay-*
删除配置文件
[root@localhost data]# vim /etc/my.cnf 
[mysqld]
basedir = /usr/local/mysql
datadir = /opt/data
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/data/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

登录mysql停止
mysql> stop slave;
Query OK, 0 rows affected (0.01 sec)

重置
mysql> reset slave;
Query OK, 0 rows affected, 3 warnings (0.01 sec)

主库配置。vi /etc/my.cnf，添加以下配置，重启mysql。

[mysqld]
basedir = /usr/local/mysql
datadir = /opt/data
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/data/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
log-bin=mysql_bin  
server-id=10
gtid_mode=on   开启gtid
enforce-gtid-consistency=true   强制保证gtid参数
log-slave-updates=on     允许从库更新

[root@localhost data]# systemctl  restart mysqld
                     

从库配置。vi /etc/my.cnf, 添加以下配置，重启mysql。

[mysqld]
basedir = /usr/local/mysql
datadir = /opt/data
socket = /tmp/mysql.sock
port = 3306
pid-file = /opt/data/mysql.pid
user = mysql
skip-name-resolve
sql-mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
server-id=20
relay-log=myrelay
gtid_mode=on   开启gtid
enforce-gtid-consistency=true   强制保证gtid参数
log-slave-updates=on    允许从库更新
read_only=on  设置只读权限
master-info-repository=TABLE   主信息存储库
relay-log-info-repository=TABLE   中继日志信息存储库

主库授权复制用户。

授权abc用户
mysql> grant replication slave on *.* to 'abc'@'192.168.203.136' identified by 'abc123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

从库设置要同步的主库信息，并开启同步。

mysql> change master to
    -> master_host='192.168.203.133',
    -> master_port=3306,
    -> master_user='abc',
    -> master_password='abc123',
    -> master_auto_position=1;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

mysql> show slave status\G

主库创建hahaha数据库
mysql> create database hahaha;
Query OK, 1 row affected (0.00 sec)
从库查看数据更新
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| crouce             |
| hahaha             |
| ljl0               |
| mysql              |
| performance_schema |
| qqqq               |
| sys                |
+--------------------+
8 rows in set (0.14 sec)

配置完之后，通过查看slave的状态，可以看是否配置成功。同时可以在主库进行一些操作，提交一些事务(insert,update)，之后数据就会自动同步到从库。

lamp

lamp简介

有了前面学习的知识的铺垫，今天可以来学习下第一个常用的web架构了。

所谓lamp，其实就是由Linux+Apache+Mysql/MariaDB+Php/Perl/Python的一组动态网站或者服务器的开源软件，除Linux外其它各部件本身都是各自独立的程序，但是因为经常被放在一起使用，拥有了越来越高的兼容度，共同组成了一个强大的Web应用程序平台。

LAMP指的是Linux（操作系统）、Apache（HTTP服务器）、MySQL（也指MariaDB，数据库软件）和PHP（有时也是指Perl或Python）的第一个字母，一般用来建立web应用平台。

web服务器工作流程

在说lamp架构平台的搭建前，我们先来了解下什么是CGI，什么是FastCGI，什么是......

web服务器的资源分为两种，静态资源和动态资源

• 静态资源就是指静态内容，客户端从服务器获得的资源的表现形式与原文件相同。可以简单的理解为就是直接存储于文件系统中的资源
• 动态资源则通常是程序文件，需要在服务器执行之后，将执行的结果返回给客户端

那么web服务器如何执行程序并将结果返回给客户端呢？下面通过一张图来说明一下web服务器如何处理客户端的请求

如上图所示

阶段①显示的是httpd服务器（即apache）和php服务器通过FastCGI协议进行通信，且php作为独立的服务进程运行

阶段②显示的是php程序和mysql数据库间通过mysql协议进行通信。php与mysql本没有什么联系，但是由Php语言写成的程序可以与mysql进行数据交互。同理perl和python写的程序也可以与mysql数据库进行交互

cgi与fastcgi

上图阶段①中提到了FastCGI，下面我们来了解下CGI与FastCGI。

CGI（Common Gateway Interface，通用网关接口），CGI是外部应用程序（CGI程序）与WEB服务器之间的接口标准，是在CGI程序和Web服务器之间传递信息的过程。CGI规范允许Web服务器执行外部程序，并将它们的输出发送给Web浏览器，CGI将web的一组简单的静态超媒体文档变成一个完整的新的交互式媒体。
FastCGI（Fast Common Gateway Interface）是CGI的改良版，CGI是通过启用一个解释器进程来处理每个请求，耗时且耗资源，而FastCGI则是通过master-worker形式来处理每个请求，即启动一个master主进程，然后根据配置启动几个worker进程，当请求进来时，master会从worker进程中选择一个去处理请求，这样就避免了重复的生成和杀死进程带来的频繁cpu上下文切换而导致耗时

http协议 是什么？

httpd是Apache超文本传输协议（HTTP）服务器的主程序。被设计为一个独立运行的后台进程，它会建立一个处理请求的子进程或线程的池。
通常，httpd不应该被直接调用，而应该在类Unix系统中由apachectl调用，在Windows中作为服务运行。

Http协议主要特点：

1、简单快速。客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

2、灵活。HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

3、无连接。无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

4、无状态。HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

5、支持B/S及C/S模式。

Http之响应消息Response：

一般情况下，服务器接收并处理客户端发过来的请求后会返回一个HTTP的响应消息。HTTP响应也由四个部分组成，分别是：状态行、消息报头、空行和响应正文。

第一部分：状态行，由HTTP协议版本号， 状态码， 状态消息 三部分组成。

第二部分：消息报头，用来说明客户端要使用的一些附加信息。

第三部分：空行，消息报头后面的空行是必须的。

第四部分：响应正文，服务器返回给客户端的文本信息。

Http之状态码：

状态代码有三位数字组成，第一个数字定义了响应的类别，共分五种类别:

1xx：指示信息--表示请求已接收，继续处理

2xx：成功--表示请求已被成功接收、理解、接受

3xx：重定向--要完成请求必须进行更进一步的操作

4xx：客户端错误--请求有语法错误或请求无法实现

5xx：服务器端错误--服务器未能实现合法的请求

Http工作原理：

HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。

lamp架构运行的原理

(1) 客户端发送请求连接web服务器的80端口，由Apache相应并处理用户的静态请求。

(2) 如果客户端请求的是动态资源，由Apache加载调用libphpX.so模块(安装php程序带来)进行解析处理。

(3) 如果处理需要和后台数据库沟通，那么由php程序去完成。

(4) Php程序将处理完后的结果再返回给Apache，由Apache返回给客户端。

LAMP分别代表什么？
Linux+apache/nginx+mysql+php/python/perl

• L代表服务器操作系统使用Linux

• A代表网站服务使用的是Apache软件基金会中的httpd的软件

• M代表网站后台使用的数据库时MySQL数据库

• P代表网站是使用PHP/Perl/Python等语言开发

Apache(httpd)

• 作用：提供web服务，接受用户的连接请求!
• 注意：Apache或Nginx都只支持静态页面的解析
  当客户端请求的是静态资源时，web服务(httpd程序)会直接返回静态资源给客户端strong text

（1）静态网页

• 静态网页指使用HTML(超文本标记语言)编写，一般后缀为.htm、.html等;网页文件中没有程序代码
• 静态网页，用户双击打开，看到的效果与web服务器是相同的，因为网页的内容在用户访问之前，就已经确定

（2）动态网页

• 动态网页指网站使用特定的编程语言编写，网页文件中除了HTML标记以外，还包括一些实现特定功能的程序代码
• 服务器端可以根据客户端的不同请求动态产生网页内容
• 动态网页后缀一般为.php、.asp、.aspx、cgi、.perl、.jsp等
• 常见的留言板、论坛、注册、发帖都是用动态网页实现的

PHP

• 作用：PHP主要负责PHP脚本程序的解析以及实现与MySQL数据库的交互工作，我们项目中的注册/登录/下单/支付等大多数功能都是基于PHP+MySQL进行实现。PHP是一种通用开源脚本语言。

（1）当客户端请求的是动态资源时，Apache(httpd程序)会调用libphpX.so模块进行相应的解析。

（2）如果解析处理需要用到后台数据库相关数据，此时php程序也会连接后台数据库。

（3） 最终php程序将解析后的结果返回给Apache(httpd程序)，让Apache返回给客户端。

MySQL

• 作用：MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle旗下产品。其主要作用用于永久的存储数据。