有关binlog的那点事(三)(mysql5.7.13)
这次我们要探索更精细的binlog内容,上次讨论的Query_event和Rows_event肯定有让你疑惑不解的问题。Query_event中的status-vars环境变量有哪些,Rows_event的数据类型是什么,元数据又是个什么鬼东西,今天我们就来一一解答。
一、Query_event中的令人费解的status-vars
status-vars据说是为了兼容低版本的mysql服务器而加入的环境变量设置,告诉低版本的mysql服务器sql语句是在什么环境下执行的
具体的格式是状态枚举值+状态参数
下面以状态枚举值分别讲下比较重要的几个状态:
(1)0x00 Q_FLAGS2_CODE 4个字节
这个主要是对于SQL_AUTO_IS_NULL、FOREIGN_KEY_CHECKS、UNIQUE_CHECKS、AUTOCOMMIT的设置,SQL_AUTO_IS_NULL是自动填充NULL,FOREIGN_KEY_CHECKS是外键检查,UNIQUE_CHECKS是唯一键索引检查,AUTOCOMMIT就是自动提交,在此处SQL_AUTO_IS_NULL = 1,其他均为0。
(2)0x01 Q_SQL_MODE_CODE 8个字节
这里的配置要参考SET sql_mode
: http://dev.mysql.com/doc/refman/5.7/en/set-variable.html,这里有大量的sql环境变量
对应的状态列表可以参考http://dev.mysql.com/doc/internals/en/query-event.html#q-sql-mode-code
可以参考下面的中文翻译:
1)单项模式:
- ALLOW_INVALID_DATES:该项如果设置,mysql对于日期的月month和日day进行检查。任何日期只要满足0<month<13 , 0<day<32的整数就能成为插入值。
- ANSI_QUOTES: 如果设置该项,mysql会将引号“"’”作为引号来看待,而不是字符串符号。
- ERROR_FOR_DIVISION_BY_ZERO:该项如果设置,mysql会将任何数除以0以后的数以NULL的形式插入。
- HIGH_NOT_PRECEDENCE:该项如果设置,not运算符的优先值会被下降,如mysql会将NOT a BETWEEN b AND c 解析成NOT (a BETWEEN b AND c)
- IGNORE_SPACE:该项如果设置,mysql会允许函数名和“(”能有空格。
- NO_AUTO_CREATE_USER:该项如果设置,mysql会防止在grant语句执行时自动生成新用户。
- NO_AUTO_VALUE_ON_ZERO:该项如果设置,mysql在处理AUTO_INCREMENT列时,仅仅只对null生成下一个序列号。
- NO_BACKSLASH_ESCAPES:该项如果设置,mysql不能使用”\”作为转义字符。
- NO_DIR_IN_CREATE:该项如果设置,在建表时mysql会忽略所有的INDEX DIRECTORY 和DATA DIRECTORY。
- NO_ENGINE_SUBSTITUTION:该项如果设置,在CREATE TABLE 或ALTER TABLE时mysql会对无法使用的引擎报错,但不做实际的操作。
- NO_FIELD_OPTIONS仅对SHOW CREATE TABLE命令有效。
- NO_KEY_OPTIONS同上。
- NO_TABLE_OPTIONS同上。
- NO_UNSIGNED_SUBTRACTION:如果该项设置,mysql会在对负数更新到unsingned int数上不进行限制。
- NO_ZERO_DATE:如果该项设置,并且严格的SQL模式设置,mysql对于日期是0000-00-00不能插入更新。
- NO_ZERO_IN_DAT:如果该项设置,并且严格的SQL模式设置,mysql对于日期有0值的(除了0000-00-00)不能插入更新。
- ONLY_FULL_GROUP_BY在5.75新增,对本次开发没有影响。
- PAD_CHAR_TO_FULL_LENGTH:如果该项设置,mysql不会在检索回收多余的char空间。
- PIPES_AS_CONCAT:如果该项设置,mysql将把||看成CONCAT()。
- REAL_AS_FLOAT:如果该项设置,mysql将把REAL看成FLOAT。
- STRICT_ALL_TABLES:该项如果设置,mysql会进入严格的sql模式。
- STRICT_TRANS_TABLES: 该项如果设置,mysql会进入严格的sql模式,仅对事务有效。
2)混合模式:
1. ANSI:该项如果设置,和REAL_AS_FLOAT, PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE等价,在
2. DB2:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS一起设置等价。
3. MAXDB:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS, NO_AUTO_CREATE_USER一起设置等价。
4. MSSQL:该项如果设置, PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS. 一起设置等价。
5. TRADITIONA:该项如果设置,与STRICT_TRANS_TABLES, STRICT_ALL_TABLES, NO_ZERO_IN_DATE, NO_ZERO_DATE, ERROR_FOR_DIVISION_BY_ZERO, NO_AUTO_CREATE_USER, NO_ENGINE_SUBSTITUTION
6. POSTGRESQL:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS一起设置等价。
7. ORACLE:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS一起设置等价。
8. MYSQL323:仅对SHOW CREATE TABLE有影响。
9. MYSQL40:同上。
(3)0x02 Q_CATALOG
默认记录为"\x3std\x0",即mysql服务器所使用的目录。一字节长度+NULL字符串
(4)0x03 Q_AUTO_INCREMENT
与AUTO_INCREMENT有关,4字节,前2个字节表示AUTO_INCREMENT,后2个字节表示AUTO_INCREMENT_OFFSET
(5)0x04 Q_CHARSET_CODE
字符集 在连接时客户端设定的字符集(2字节)+连接校对时的字符集(2字节)+服务器校对时的字符集(2字节)
(6)0x05 Q_TIME_ZONE_CODE
时区 一字节长度+字符串,如"\x6+08:00" 就是北京时间,这个待确认。
(7)0x07 Q_LC_TIME_NAMES_CODE
星期和月的名称,例如:在英文文中星期一是MON,一月是Jan,在其他文字中就不是这样。
二、Rows_event的数据类型和元数据
这里仅仅介绍常用的数据类型
(1)日期时间类型
1)元数据代表的可以精确到微秒的值 n通常为0-3
对与这种类型的在my_time.h中有相应的定义。
MYSQL_TYPE_DATETIME2,是用longlong数据存储的, 固定是4位+n,元数据代表的是额外数据的长度n
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 //来自mysql5.7.13源码 my_time.c 2 //将longlong时间转化成字符串 3 //longlong时间格式: 4 //按位计算 5 //1 bit sign(used when on disk) 6 //17 bits year * 13 + month(year 0 - 9999, month 0 - 12) 7 //5 bits day(0 - 31) 8 //5 bits hour(0 - 23) 9 //6 bits minute(0 - 59) 10 //6 bits second(0 - 59) 11 //24 bits microseconds(0 - 999999) 12 // 13 //Total: 64 bits = 8 bytes 14 // 15 //SYYYYYYY.YYYYYYYY.YYdddddh.hhhhmmmm.mmssssss.ffffffff.ffffffff.ffffffff
MYSQL_TYPE_TIME2,也是是用longlong数据存储的, 固定是3位+n,元数据代表的是额外数据的长度n
MYSQL_TYPE_TIMESTAMP2,是时间戳,固定是4位,元数据代表的是额外数据的长度n
MYSQL_TYPE_NEWDATE也是以这种方式存的,但是没有元数据
2)不存在元数据,以十进制yyyymmddhhmmss存储的
MYSQL_TYPE_TIMESTAMP,MYSQL_TYPE_DATETIME都是以这种方式存的。
MYSQL_TYPE_TIME是时间戳。
3)MYSQL_TYPE_YEAR,不存在元数据。
这个是1900开始的年份存的
(2)整形,不存在元数据
MYSQL_TYPE_TINY, MYSQL_TYPE_SHORT, MYSQL_TYPE_INT24,MYSQL_TYPE_LONG,MYSQL_TYPE_LONGLONG和原先我们理解的方式一样,只不过是小端数据
(3)实数型
MYSQL_TYPE_FLOAT和MYSQL_TYPE_DOUBLE也是通过小端数据存储的,不同的是他们有一字节元数据,他们的元数据代表他们有效数据的长度。
MYSQL_TYPE_NEWDECIMAL这个小数存储方式不是很明确,仅仅在decimal.h中有定义,但是他的元数据第一个字节代表他有效数据的长度,第二个代表他的精度即小数点后长度
(4)字符串类型
MYSQL_TYPE_VARCHAR 他两字节的元数据是他的最长长度。
MYSQL_TYPE_STRING,MYSQL_TYPE_VAR_STRING 他们的元数据第一个字节代表真正的类型,而第二个字节代表存储字符串长度的字节数大小
(5)bit类型
MYSQL_TYPE_BLOB 他的元数据存储的是bit类型长度的字节数大小
MYSQL_TYPE_BIT 他的元数据存储第一个字节代表有多少bit,而第二个字节代表存储bit类型的字节数大小
为此我们可以得到结论,元数据更多存储的是该类型的长度信息。
具体更详细的请查看mysql5.7.13的源码 log_event.cc:1953::log_event_print_value()获取更多的信息