关于分页数据的查询优化
背景
因为mysql数据较大,业务稳定性要求高,在查询分页数据的时候,可能需要很多张表数据组合才可以完成所需字段。
例如
select t1.f1,t2.f2,t3.f3 from t1 left join t2 on t1.f1=t2.f1 left join t3 on t2.f2=t3.f2 where t1.f1 xxx order by f1 limit 10;
上述sql执行过程:
找出t1符合的记录c1,然后用c1去匹配t2的记录得到c2,然后用c2去匹配t3的记录得到c3。
假设索引都存在并生效,查询会很快吗?不一定,因为我们只需要10条数据,但是c1的结果集可能会非常大,去整合出c2,c3耗费了很多的计算。
禁止连表法:
所以这时候,一般做法是禁止连表,程序查询c1结果,然后根据c1二次查询得到c2,三次查询得到c3,再组装完整数据。那其实这种方法是比较靠谱,但缺点也很明显,程序组装耗费,多次查询网络耗费等。
改良sql法:
那么我们根据禁上述方式,继续用sql的思路思考:先整合出这10条数据的最小集合,再用这10条数据去整合出c2,c3,那么我们整合就变得非常简单了。
改良版的连表sql:
select o.f1,t2.f2,t3.f3 from (select f1 from t1 where xxx order by f1 limit 10) o left join t2 on o.f1=t2.f1 left join t2.f2=t3.f2.
暗夜之中,才见繁星;危机之下,暗藏转机;事在人为,为者常成。