分库分表方法（二）

一、什么情况下，才需要分表？

一般单表达到20万数据时候可以考虑分表

1>纵向分表

将本来可以在同一个表的内容，人为划分为多个表。（所谓的本来，是指按照关系型数据库的第三范式要求，是应该在同一个表的。）

分表理由：根据数据的活跃度进行分离，（因为不同活跃的数据，处理方式是不同的）

案例：

对于一个博客系统，文章标题，作者，分类，创建时间等，是变化频率慢，查询次数多，而且最好有很好的实时性的数据，我们把它叫做冷数据。而博客的浏览量，回复数等，类似的统计信息，或者别的变化频率比较高的数据，我们把它叫做活跃数据。所以，在进行数据库结构设计的时候，就应该考虑分表，首先是纵向分表的处理。

这样纵向分表后：

首先存储引擎的使用不同，冷数据使用MyIsam 可以有更好的查询数据。活跃数据，可以使用Innodb ,可以有更好的更新速度。

其次，对冷数据进行更多的从库配置，因为更多的操作时查询，这样来加快查询速度。对热数据，可以相对有更多的主库的横向分表处理。

其实，对于一些特殊的活跃数据，也可以考虑使用memcache ,redis

  之类的缓存，等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库，这里只是举例，就先不说这个。

 

数据表横向切分法思路

简单说明一下，假设原始表结构：

ID	username	email	passwd	...
10000001	小强	aa@qq.com	xxxxxxxxxxxx	...
10000002	张三	bb@gmail.com	xxxxxxxxxxxx	...
...	...	...	...	...

以用户名做hash把所有用户打散到不同的表，如取md5('小强')的首英文字母(hash方法很多，这边简单以md5示例)进行横向分表后假设创建如下表名：
users_a、users_b、users_c、users_d、.....、users_other
users_a 设置主健基数 10000000
users_b 设置主健基数 20000000
users_c 设置主健基数 30000000  
....


这样以后，若我们查询  username='小张'，则hash后得到小张所在的表名为 users_a，构建sql语句：
select * from users_a where username='小张';

若我们查询用户  ID=21001234，则可间接得到ID21001234所在的表名为 users_b，构建sql语句：
select * from users_b where ID=21001234;
以上这些办法都能在分表后大幅提升数据库查询性能。





但是，虽然解决了使用ID和username查找的问题，如果我想查找 email='xxxx@xxx.com' 怎么办？

首先建立该字段与主键ID的映射关系表结构如下：

email	ID
aa@qq.com	10000001
bb@gmail.com	10000002
...	...

其次，针对email的值进行散列/分表，拆分为 email_a、email_b、email_c.....
简单地理解就是：
email_a存放的是以邮件a开头的所有email地址及其对应的用户ID；
email_b存放的是以邮件b开头的所有email地址及其对应的用户ID.....


这样以后，若我们查询  email='aa@qq.com'，则可得到该email所在的表名为 email_a，构建sql语句：
select ID from email_a where email='aa@qq.com';
得到用户ID，并根据ID查找到用户数据，实则也是一种自创索引。


总知在大数据量、大并发应用中分表是很必要且很繁琐的工作，而且很多时候衍生出分库乃至分服务器等，在此也仅仅浅显地表达一些思路，希望以此抛砖引玉，理解得不好的地方还请海涵。

 

转于：bbs.chinaunix.net/thread-1498019-1-1.html