摘要：
概述 数仓分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更容易理解和使用 数据分层的作用 我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是数据分层。数据分层的好处有 清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 阅读全文
摘要：
数据库优化: 数据库设计: 1.字段选型: 数字类型: tinyint smalint mediumint int bigint 字符类型: char varchar 事件类型: date datetime timestamp 首先秉承的原则: 1.小就是美 2.简单就是美 3.先规范,必要时灵活 阅读全文
摘要：
InnerDB实现原理 它是MySQL 从5.5 版本卡死的默认的存储引擎, 是第一份支持ACID特性的MySQL存储引擎, 特点是行锁设计, 支持MVCC(多版本并发控制), 支持外键, 提供一致性非锁定读, 同时尽可能高效的利用计算机硬件资源. MVCC MVCC( Multiversion C 阅读全文
摘要：
InnoDB MVCC InnoDB 的 MVCC, 其实是通过 undo log 来实现的, 可以理解为是通过在每行记录后面保存两个隐藏的列来实现的, 分别保存了这个行的创建时间, 一个保存的是行的删除时间. 这里存储的并不是实际的时间值, 而是系统版本号(可以理解为事物的 Id), 每开始一个新 阅读全文
摘要：
MySQL 主要集中索引类型：FULLTEXT，HASH，BTREE，RTREE 1. FULLTEXT 即为全文索引，目前只有MyISAM支持。不过目前只有 CHAR，VARCHAR，TEXT列上 可以创建全文索引。 2. HASH 由于 HASH 的唯一（几乎100%的唯一）及类似键值对的形式， 阅读全文
摘要：
联合索引 所谓最左原则指的就是如果SQL语句中用到了联合索引中额最左边的索引，那么这条 SQL 语句就可以利用这个联合索引去进行匹配，需要注意的是，当遇到范围查询（>、<、between、like）就会停止匹配。 假设，我们对（a，b）字段建立一个索引，也就是说 where条件后为 a = 1 an 阅读全文
摘要：
InnoDB索引实现 InnoDB也使用 B+Tree作为索引结构，但具体实现方式却与 MyISAM截然不同。 InnoDB的主索引： MyISAM索引文件和数据文件是分离的，索引文件仅保存数据记录的地址。而在InnooDB中，数据本身就是按 B+Tree 组织的一个索引结构，这颗树的叶节点 dat 阅读全文
摘要：
聚簇索引和非聚簇索引 在InnoDB中，表数据文件本身就是按 B+Tree 组织的一个索引结构，聚簇索引就是按照 每张表的主键构造一颗B+树，同时叶子节点中存放的就是整张表的行记录数据，也将聚簇索引的叶子节点称为数据页。这个特性决定了索引组织表中的数据也是索引的一部分。 一般建表会用一个自增主键做聚 阅读全文
摘要：
什么是MySql的“回表”？如何减少回表的次数 两类索引 主键索引，其实就是聚簇索引；主键索引之外，其他的都称之为非主键索引，非主键索引也被称为二级索引，或者叫做辅助索引。 对于主键索引和非主键索引，使用的数据结构都是B+Tree，唯一的区别在于叶子节点中存储的内容不同： 主键索引的叶子节点是一行完 阅读全文
摘要：
解决思路： 1. 如果仅仅是 Consumer消费速度落后于消息生产的速度的话，可以考虑采用扩容消费者群组的方式。 2. 如果积压比较严重，积压了上百万、上千万的消息。 a. 修复现有 Consumer问题，并将其停掉。 b. 重新创建一个容量更太的 topic，例如 patition是原来的 10 阅读全文