一件事情不付诸实|
收藏闪存小组博问

Blue Mountain

园龄：10年7个月粉丝：572关注：0

MySQL技术内幕读书笔记（三）——文件

目录

文件

​ 有以下类型文件

  • 参数文件：告诉MYSQL实例启动时在哪里找到数据库文件，并且制定某些初始化参数。
  • 日志文件：用来记录MYSQL实例对某种条件作出响应时写入的文件。
  • socket文件：当用UNIX域套接字方式进行连接时需要的文件。
  • pid文件：MYSQL实例的进程ID文件
  • MySQL表结构文件：用来存放MYSQL表结构定义文件。
  • 存储引擎文件：

参数文件

​ 查找参数文件命令

mysql --help | grep my.cnf

​ 查找参数值命令

SELECT * FROM GLOBAL_VARIABLES WHERE VARIABLE_NAME LIKE 'innodb_buffer%'\G;
 
# 推荐使用
SHOW VARIABLES LIKE 'innodb_buffer%'\G;

​ 分为两类

  • 动态参数
  • 静态参数

​ 动态参数可以在MYSQL实例运行进行更改，静态参数则是不可更改的。更改动态参数的语法如下：

SET
| [global | session] system_var_name=expr
| [@@global. | @@session. | @@] system_var_name = expr

​ global：全局的，session：当前会话。说明参数的作用域是不通的。一些demo

# 改变当前会话，不会改变全局
SET read_buffer_size = 524288
 
# 改变全局会话参数，不会改变当前
SET @@global.read_buffer_size = 1048576;
 
# 查询当前会话参数
SELECT @@session.read_buffer_size\G;
 
# 查询全局会话参数
SELECT @@global.read_buffer_size\G;

​ 但是这种修改，并不最终修改配置文件my.cnf的参数值，所以重新启动后，参数还是按照配置文件中的加载。

日志文件

错误日志

​ 记录了所有的错误信息、警告信息。查找错误日志文件位置

SHOW VARIABLES LIKE 'log_error'\G;

慢查询日志

​ 记录查询慢的SQL，可以帮助优化。可以设置记录的阈值，并且打开开关

SHOW VARIABLES LIKE 'long_query_time'\G;
SHOW VARIABLES LIKE 'long_slow_queries'\G;

​ 还有一个参数，如果SQL语句没有使用索引，就会加入到慢查询日志文件（slow log)中。

SHOW VARIABLES LIKE 'log_queries_not_using_indeces'\G;
 
# 设置每分钟允许记录到slow log的且未使用所以的SQL语句次数，缺省为0，表示没有限制。
SHOW VARIABLES LIKE 'log_throttle_queries_not_using_indexs'

​ 但是如果数据量比较大的话，不好分析分件的话，可以使用MYSQL提供的mysqldumpslow命令

# 从指定文件读取日志
mysqldumpslow nh122-190-slow.log
 
# 得到执行时间最长的10条SQL语句
mysqldumpslow -s al -n 10 david.log

​ 还可以经过配置，在slow_log中查询慢日志

# 慢日志表名
SHOW CREATE TABLE mysql.show_log\G;
 
# 默认慢查询输出格式是FILE，则可以设为TABLE
SHOW VARIABLES LIKE 'log_output'\G;
SET GLOBAL log_output='TABLE';
SHOW VARIABLES LIKE 'log_output'\G;
 
# 查询慢日志
SELECT * FROM mysql.slow_log\G;

​ 但是slow_log默认是用的CSV引擎，可使用MyISAM引擎，提升查询效率（大数据量）

ALTER TABLE mysql.slow_log ENGINE=MyISM;
SET GLOBAL slow_query_log=off;
ALTER TABLE mysql.slow_log ENGINE=MyISM;

​ 通过额外的参数记录相关信息到慢日志表中

​ 通过参数long_query_io将超过指定逻辑IO次数的SQL语句记录到slow log中。默认值是100.

​ 通过参数slow_query_type表示启动slow log的方式

  • 0：不将SQL记录到slow log
  • 1：根据运行时间将SQL语句记录到slow log
  • 2：根据逻辑IO次数将SQL语句记录到slow log
  • 3：根据运行时间以逻辑IO次数将SQL语句记录到slow log

查询日志

​ 记录了所有对MYSQL数据库请求的信息，名字一般为主机名.log

二进制日志(binary log)

​ 记录了对MYSQL数据库执行更改的所有操作。只要操作使得数据库发生变化，就会写入二进制日志。但操作若果未导致数据库发生变化，也有可能写入二进制日志。例如

UPDATE t SET a = 1 WHERE a = 2;
SHOW MASTER STATUS\G;
show binlog events in 'mysqld.000008'\G;

​ 二进制日志主要作用

  • 恢复：某些数据的恢复需要二进制文件。例如，在一个数据库全被文件恢复后，用户可以通过二进制日志进行point-in-time恢复
  • 复制：通过复制和执行二进制日志使一台远程的MYSQL数据库(一般是slave或者standy)与一台MYSQL数据库(master或primary)进行实时同步。
  • 审计：用户可以通过二进制日志中的信息来进行审计，判断是否有对数据库进行注入的攻击。

​ 通过配置惨呼log-bin=[name]可以启动二进制日志。如果不指定name，则默认二进制日志文件名为主机名，后缀名为二进制日志的序列号。

# 查询二进制日志路径
show variablers like 'datadir';
 
# MYSQL调用LL
system ls -lh /user/local/mysql/data/;

​ bin_log.index为二进制的索引文件，用来存储过往产生的二进制日志序号。

​ 以下配置文件的参数影响着二进制日志记录的信息和行为。

  • max_binlog_size：

    ​ 指定单个二进制日志文件的最大值。默认为1G

  • binlog_cache_size：

    ​ 当使用事务的表存储引擎（INNODB）时，所有未提交的二进制日志会被记录到一个缓存中去，等待事务提交时直接将缓冲中的二进制日志写入二进制日志文件，而缓冲的大小由binlog_cache_size决定，默认大小为32K。

    ​ 值过大，浪费空间；值太小，会把缓冲中的日志写入到一个临时文件中。

    		# 查询设置的缓存大小
    		SHOW VARIABLES LIKE 'binlog_cache_size';
    		 
    		# 查看缓冲池状态
    		SHOW GLOBAL STATUS LIKE 'binlong_cache%';

  • sync_binlog：

    ​ 默认情况下，二进制日志是使用缓冲写的方式，但是数据库宕机时，有可能缺少一部分数据，给恢复和复制带来问题，所以使用参数sync_binlog=[N]表示每写缓冲多少次就同步到磁盘。如果N改成1的话，就是同步写磁盘来写二进制日志。可用性和IO性能需要进行取舍。

    ​ 且当sync_binlog=1时，假设有事务还没commit，也会将二进制日志立即写入磁盘，但是如果发生宕机，二进制日志已经记录了该事务信息，不能回滚。这个问题可以通过将参数innodb_support_xa为1来解决。

  • binlog-do-db：

    ​ 表示需要写入哪些库的日志

  • binlog-ignore-db：

    ​ 表示需要忽略写入哪些库的日志

  • log-slave-update：

    ​ 如果需要搭建master->slave->slave架构的复制，需要设置log-slave-update参数。

  • binlog_format：

    ​ 非常重要，影响记录二进制日志的格式。

    • STATEMENT：记录的是日志的逻辑SQL语句。

      ​ 这个对于复制是有一定要求的，如果再主服务器运行rand、uuid等函数，又或者使用触发器等操作，这些都可能会导致主从服务器上表中数据的不一致(not sync)。

      ​ 另一个影响是：导致INNODB使用的默认事务隔离级别是REPEATABLE READ，如果使用READ COMMITTED的事务隔离界别，会出现类似丢失更新的现象，导致主从数据库上的数据不一致。

    • ROW：记录表的行更改情况

      ​ 类似于Oracle的物理Standby，修复了Statement格式下的复制问题，也可以设置INNODB的事务隔离基本为READ COMMITTED，以获取更好的并发性。

    • MIXED：默认采用STATEMENT格式进行二进制日志文件的记录，但是在一些情况下会使用ROW格式。

      • 表的存储引擎为NDB

      • 使用了UUID()、USER()、CURRENT_USER()等不确定函数。

      • 使用了INSERT DELAY语句

      • 使用了用户定义函数(UDF)

      • 使用了临时表(temporary table)

        ​

    查看二进制日志文件，只能使用MYSQL提供的工具mysqlbinlog

# 查看STATEMENT格式
mysqlbinlog --start-position=203 test.00004
 
# 查看ROW格式
mysqlbinlog -vv --start-position=203 test.00004

套接字文件

​ UNIX本地连接MYSQL可以采用UNIX域套接字方式，这种方式需要个套接字文件

pid文件

​ MYSQL实例启动时，会将自己的进程ID写入一个文件中——该文件即为pid文件。文件名由参数pid_file控制。

表结构定义文件

​ MYSQL数据的存储是根据表进行的，每个表都会有与之对应的文件。但不论表采用何种存储引擎，MYSQL都有一个以frm为后缀名的文件，这个文件记录了该表的表结构定义。

​ 也可以用来存放视图的定义。frm文件可以直接查看。

INNODB存储引擎文件

表空间文件

​ innoDB将存储的数据按表空间进行存放。在默认配置下会有一个ibdatal文件，该文件就是默认的表空间文件。可以通过参数innodb_data_file_path对其进行设置

innodb_data_file_path=datafile_spec1[;datafile_spec2]...
 
#demo 
#文件大小都设置为2000MB，其次ibdata2文件使用完2000M之后可以自动增长。
[mysqld]
innodb_data_file_path = /db/ibdatal:2000M;/dr2/db/ibdata2:2000M:autoextend

​ 使用两个文件组成表空间，若两个文件位于不同的磁盘，可以平均磁盘负载，提高数据的整体性能。设置之后所有数据都会存入共享表空间。如果设置参数innodb_filw_per_table就会给每个表一个独立的存储空间。

SHOW VARIABLES LIKE 'innodb_file_per_table'\G;

​ 注意，即使开启了上述参数，独立的表空间也只存储对应表的数据、索引和插入缓冲BITMAP等信息。其他信息还是放在默认的表空间中。

重做日志文件

​ 默认情况下，INNODB存储引擎的数据目录下会有两个名为ib_logfile0和ib_logfile1的文件。称为重做日志文件，在恢复时至关重要。

​ 每个INNODB存储引擎至少有一个重做日志文件组，每个文件组下至少有2个重做日志文件。为了更高的可靠性，用户可以设置多个的镜像日志组，将不同的文件组放在不同的磁盘上，提高重做日志的可用性。

​ 在日志组中每个重做日志文件的大小一致，并以循环写入的方式运行。

​ 下列参数严重影响重做日志文件的属性。

  • innodb_log_file_size

    ​ 指定每个重做日志文件的大小。

    ​ 设置的过大，在恢复时可能需要很多的时间。设置的过小，一个事务需要多次切换重做日志文件。还可能导致频繁的async checkpoint

  • innodb_log_files_in_group

    ​ 指定日志文件组中重做文件的数量。

  • innodb_mirrored_log_grooups

    ​ 指定日志镜像文件组的数量，默认为1.

  • innodb_log_group_home_dir

    ​ 指定日志文件组所在路径。默认为./，表示在数据库的数据目录下

SHOW VARIABLES LIKE 'innodb%log%'\G;

​ 事务日志和二进制日志的区别：

  • 二进制会记录所有MYSQL数据库有关的日志记录。包括各种引擎的日志，而重做日志只记录有关该存储引擎本身的事务日志。
  • 记录的内容不同。二级制日志文件记录的是关于一个事务的具体操作，即该日志的逻辑日志。而INNODB存储引擎的重做日志文件记录的是关于每个页的更改的物理情况。
  • 写入的时间也不同，二进制日志文件仅在事务提交前进行提交，即只写磁盘一次，不论这时事务多大。而在事务进行的过程中，却不断有重做日志条目被写入到重做日志文件中。

​ INNODB存储引擎中，对于各种不同的操作有着不同的重做日志格式，但是基本格式相同。

1 2 3 4
reg_log_type space page_no redo_log_body

​ 由四个部分组成：

  • redo_log_type占用1字节，表示重做日志的类型。
  • space表示表空间的ID，但采用压缩的方式，因此占用的空间可能小于4字节。
  • page_on表示页的偏移量，同样采用压缩的方式
  • redo_log_body表示每个重做日志的数据部分，恢复时需要调用响应的函数进行解析。

​ 从重做日志缓冲往磁盘写入时，是按512字节（一个扇区）的大小进行写入。所以保障写入必定成功。不需要有doublewrite。

​ 触发缓冲写入重做日志的条件：

  • 主线程每秒会将重做日志写入磁盘的重做日志中，不论事务是否已经提交。
  • 通过innodb_flush_log_at_trx_commit控制，表示在commit操作时，处理重做日志的方式
    • 0：表示事务提交时，并不将事务的重做日志写入磁盘上的日志文件，而是等待主线程每秒的刷新
    • 1：在执行commit时将重做日志缓冲同步写入磁盘
    • 2：在执行commit时将重做日志缓冲异步写入磁盘，只保证这个动作会发生。

​ 所以，为了保障ACID中的持久性，一般就把这个参数设置为1。
​

本文作者：Blue Mountain

本文链接：https://www.cnblogs.com/BlueMountain-HaggenDazs/p/9297883.html

版权声明：本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   Blue Mountain  阅读(435)  评论(0)  编辑  收藏  举报
点击右上角即可分享
微信分享提示
AI IDE Trae
评论
收藏
关注
推荐
深色
回顶
收起
  1. 1 404 not found REOL
404 not found - REOL
00:00 / 00:00
An audio error has occurred.