SQL优化技巧

现观察线上系统运行发现,线上某些业务查询存在等待时间长问题,后核查发现,部分问题出现在对数据库操作上Cost大部分时间,后根据网上各位前辈提供的优化技巧解决大部分问题,现写下本篇文章,一来巩固加深自己学习的优化技巧,二来方便正在为sql优化迷茫的猿友们提供一下思路和方法,共同进步,一起成长~

1、现状描述

sql执行时间长、数据查询慢

2、问题对象

sql执行语句(特别是多表多条件关联查询数据)

3、理论知识

1、Oracle优化器
sql优化器:sql数据库中的优化器又叫查询优化器(QueryOptimizer)。它是SQL分析和执行的优化工具,它负责生成、制定SQL的执行计划。
    
sql优化器优化方式
基于规则的优化方式(Rule-BasedOptimization,简称为RBO)
    它根据指定的规则顺序,对指定的表进行执行计划的选择。它着一套严格的使用规则,只要你按照它去写SQL语句,无论数据表中的
内容怎样,也不会影响到你的“执行计划”,也就是说RB对数据不“敏感”。要求开发人员了解RBO的各项细则。在sql 
10g中完全被CBO取代。

基于代价的优化方式(Cost-Based Optimization,简称为CBO)。
    CBO是一种比RBO更加合理、可靠的优化器,它是从sql 8中开始引入,在sql10g中完全取代RBO。CBO是计算各种可能“执行
计划”的“代价”,即COST,从中选用COST最低的执行方案,作为实际运行方案。它依赖数据库对象的统计信息,统计信息的准确与否会影响C
BO做出最优的选择。如果对一次执行SQL时发现涉及对象(表、索引等)没有被分析、统计过,那么sql会采用一种叫做动态采样的技术,
动态的收集表和索引上的一些数据信息。
2、sql索引
sql索引是一种供服务器在表中快速查找一个行的数据库结构。合理使用索引能够大大提高数据库的运行效率。
在sql中,索引是一种供服务器在表中快速查找一个行的数据库结构。在数据库中建立索引主要有以下作用。
(1)快速存取数据。
(2)既可以改善数据库性能,又可以保证列值的唯一性。
(3)实现表与表之间的参照完整性
(4)在使用order by、group by子句进行数据检索时,利用索引可以减少排序和分组的时间。
  3、优化方向
a、去掉不必要的大型表的全表扫描
b、去掉不必要的大型表的全表扫描
c、缓存小型表的全表扫描
d、检验优化索引的使用
e、检验优化的连接技术
f、尽可能减少执行计划的Cost

4、具体优化方法

1、查询条件(where后面的子句)优化
避免全表扫描,应考虑在where及order by等列上建立索引,否则将导致进行全表扫描。。

避免在where子句中对字段进行null值判断,否则将导致放弃使用索引而进行全表扫描。

避免在where子句中使用!=或<>操作符,否则将导致放弃使用索引而进行全表扫描。

避免用or连接条件,如果有部分字段存在索引,部分不存在索引,则将导致放弃使用索引而进行全表扫描,建议使用union all代替。

慎用in 和 not in 也要慎用,否则会导致全表扫描。
     使用exists替换in问题
        子查询结果集小,用IN
        外表小,子查询表大,用EXISTS
    建议实际选取哪个可以对比两个sql的执行计划

应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如: 
SELECT ID FROM T WHERE NUM / 2 = 100
优化为:
SELECT ID FROM T WHERE NUM = 100 * 2

应尽量避免在where子句中对字段进行函数函数、算术运算或其他表达式运算操作,否则将导致放弃使用索引而进行全表扫描。如:
-- NAME以ABC开头的ID
SELECT ID FROM T WHERE SUBSTRING(NAME, 1, 3) = ’ABC’ 
--2005-11-30’生成的id
SELECT ID FROM T WHERE DATEDIFF(DAY, CREATEDATE, ’2005 - 11 - 30′) = 0
应改为:
SELECT ID FROM T WHERE NAME LIKE 'abc%'
SELECT ID FROM T WHERE CREATEDATE >= '2005-11-30' AND CREATEDATE < '2005-12-1'
2、对结果进行优化
Update 语句,如果只更改1、2个字段,不要Update全部字段,否则频繁调用会引起明显的性能消耗,同时带来大量日志。

对于多张大数据量(这里几百条就算大了)的表JOIN,要先分页再JOIN,否则逻辑读会很高,性能很差。

select count(*) from table;这样不带任何条件的count会引起全表扫描,并且没有任何业务意义,是一定要杜绝的。

尽量避免向客户端返回大数据量,若数据量过大,应该考虑是否使用分页 
3、其他优化
索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 
update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到
的列上建的索引是否有必要。

应尽可能的避免更新聚集索引(clustered)数据列,因为聚集索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的
顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新集索引数据列,那么需要考虑是否应将该索引建为聚集索引

尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询
和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。

避免频繁创建和删除临时表,以减少系统表资源的消耗。临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用
大型表或常用表中的某个数据集时。但是,对于一次性事件, 最好使用导出表。

在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 
log,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。

如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table 
,这样可以避免系统表的较长时间锁定。

尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。

使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。
与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所
需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 
间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。

在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 
。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。

尽量避免大事务操作,提高系统并发能力。
posted @ 2019-10-21 16:12  Study_Work  阅读(2540)  评论(0编辑  收藏  举报