【IT老齐003】数据垂直分表

【IT老齐003】数据垂直分表

水平分表

范围法和hash法

针对数据量大的存储问题

垂直分表

将一张大表按列切分多张小表分别存储，通过主外键关联查询数据

• 基本情况
  • 基本数据单位为行，管理数据单位为页（默认大小16k），保存页的单位为区（默认大小1m，最大64个页）。
• 根本原因
  • innodb1.0引入压缩页，跨页压缩/解压缩操作效率低，因此设计数据库表时注意页内尽可能多包括行数据，降低跨页压缩/解压缩操作，提高页内检索效率。
• 具体操作
  • 将大字段剥离到详情表，让基础表每页能容纳更多行，缩小数据检索范围，提高效率。
• 使用场景
  • 单表数据量未来可能千万
  • 字段超过20个，且包含了超长的Varchar、CLOB、BLOB等字段
• 分表方式
  • 小表（基础）
    • 数据查询、排序时需要的字段，如分类编号、商户id、品牌编号、逻辑删除标志位等
    • 高频访问的小字段，如商品名称、子标题、价格、厂商基本等
  • 大表（详情）
    • 低频访问字段：配送信息、售后声明、最后更新时间等
    • 大字段：商品图文详情、图片BLOB、JSON元数据等
• 举例分析
  • 垂直分页前，1行数据为1K，1页16K，即1页16条数据，1亿的数据需要625万页
  • 垂直分页后，1行数据为64字节（1K=1024字节），即1页256条数据，1亿的数据需要39万页。