索引碎片整理
数据库表A有十万条记录,查询速度本来还可以,但导入一千条数据后,问题出现了。当选择的数据在原十万条记录之间时,速度还是挺快的;但当选择的数据在这一千条数据之间时,速度变得奇慢。
凭经验,这是索引碎片问题。检查索引碎片DBCC SHOWCONTIG(表),得到如下结果:
DBCC SHOWCONTIG 正在扫描 'A' 表…… 表: 'A'(884198200);索引 ID: 1,数据库 ID: 13 已执行 TABLE 级别的扫描。 - 扫描页数……: 3127 - 扫描扩展盘区数……: 403 - 扩展盘区开关数……: 1615
- 每个扩展盘区上的平均页数……: 7.8
- 扫描密度[最佳值:实际值]……: 24.20%[391:1616] - 逻辑扫描碎片……: 68.02%
- 扩展盘区扫描碎片……: 38.46%
- 每页上的平均可用字节数……: 2073.2
- 平均页密度(完整)……: 74.39%
DBCC 执行完毕。如果 DBCC 输出了错误信息,请与系统管理员联系。 由上我们看出,逻辑扫描碎片和扩展盘区扫描碎片都非常大,果真需要对索引碎片进行处理了。
一般有两种方法解决,一是利用DBCC INDEXDEFRAG整理索引碎片,二是利用DBCC DBREINDEX重建索引。二者各有优缺点。调用微软的原话如下:
DBCC INDEXDEFRAG 命令是联机操作,所以索引只有在该命令正在运行时才可用。而且可以在不丢失已完成工作的情况下中断该操作。这种方法的缺点是在重新组织数据方面没有聚集索引的除去/重新创建操作有效。
重新创建聚集索引将对数据进行重新组织,其结果是使数据页填满。填满程度可以使用 FILLFACTOR 选项进行配置。这种方法的缺点是索引在除去/重新创建周期内为脱机状态,并且操作属原子级。如果中断索引创建,则不会重新创建该索引。
也就是说,要想获得好的效果,还是得用重建索引,所以决定重建索引。 DBCC DBREINDEX(表,索引名,填充因子) 第一个参数,可以是表名,也可以是表ID.
第二个参数,如果是'',表示影响该表的所有索引。
第三个参数,填充因子,即索引页的数据填充程度。如果是100,表示每一个索引页都全部填满,此时select效率最高,但以后要插入索引时,就得移动后面的所有页,效率很低。如果是0,表示使用先前的填充因子值。 DBCC DBREINDEX(A,'',100)
描述:
一碎片种类
1 内部碎片,又称为平均页密度。是指索引正在占有超过它实际所需的空间大小。
它具有两面型:低百分比会对读取数据的查询产生负面影响,会涉及更多读取操作,因为如果页被填充满的话,
只需读取更少的页;另一方面,如果如果在创建索引时设置一个较低的填充因子,就可以避免当插入更多记录而不
必进行页拆分。
对应sys.dm_db_index_physical_stats的列avg_page_space_used_in_percent。
2 外部碎片,又称平均碎片百分比,或逻辑碎片。是指在分页的逻辑顺序与物理顺序不匹配或者索引拥有的扩展不
连续时产生。包括以下两种:
逻辑碎片:这是索引的叶级页中出错页所占的百分比。出错页是指在IAM 中所指示的下一页不同于由叶级页中的下一页指针所指向的页。
区碎片(有的书翻译成:扩展碎片):这是堆的叶级页中出错区所占的百分比。出错区是指:包含堆的当前页的区不是物理上的包含前一页的区后的下一个区。
这种碎片对索引的有序扫描操作具有非常显著的影响。它会对那些不依赖于索引链接的列表的操作(例如:查找操作,lookup操作,无序扫描)不产生影响。
对应sys.dm_db_index_physical_stats的列avg_fragmentation_in_percent 。因此为了获得最佳性能,avg_fragmentation_in_percent 的值应尽可能接近零。
但是,从0 到10%范围内的值都可以接受。所有减少碎片的方法(例如重新生成、重新组织或重新创建)都可用于降低这些值。
二碎片的检测
使用系统函数sys.dm_db_index_physical_stats 可以检测特定索引、表或索引视图的所有索引、一个数据库中的所有索引或所有数据库中的所有索引中的碎片。
扫描模式如下:
LIMITED 模式运行最快,扫描的页数最少。对于堆,它将扫描所有页,但对于索引,则只扫描叶级上面的父级别页。
在该模式下,以下列将显示为NULL:avg_page_space_used_in_percent,record_count,min_record_size_in_bytes,max_record_size_in_bytes,avg_record_size_in_bytes
SAMPLED 模式将返回基于索引或堆中所有页的1%样本的统计信息。如果索引或堆少于10,000 页,则使用DETAILED 模式代替SAMPLED。
DETAILED 模式将扫描所有页并返回所有统计信息。
需要重点关注的几列:
index_id 索引的索引ID。= 堆。
avg_fragmentation_in_percent 索引的逻辑碎片或堆的区碎片。
注:因此为了获得最佳性能,avg_fragmentation_in_percent 的值应尽可能接近零。
avg_page_space_used_in_percent 内部碎片
fragment_count 索引中的碎片(物理上连续的叶页)数量
avg_fragment_size_in_pages 索引中一个碎片的平均页数。
注:
该值大于个分页,扫描性能会相当不错,上限为个分页,如果超过个分页,性能提升不明显。
碎片由分配单元中同一文件内的物理连续的叶级页组成。一个索引至少有一个碎片。索引可以包含的最大碎片数等于索引的页级别页数。碎片越大,意味着读取相同页数所需的磁盘I/O 越少。因此,avg_fragment_size_in_pages 值越大,范围扫描的性能越好。avg_fragment_size_in_pages 和avg_fragmentation_in_percent 值成反比。因此,重新生成或重新组织索引会减少碎片数量,但同时增大碎片大小。
forwarded_record_count 堆中的前推记录数。
注:如果数据表拥有的许多前推记录数,全表扫描就会非常有效率。
ghost_record_count 分配单元中将被虚影清除任务删除的虚影记录数。
version_ghost_record_count 由分配单元中未完成的快照隔离事务保留的虚影记录数。
注:虚影记录数是物理上仍然存在于分页上,但逻辑上已经被删除的记录。
如果存在大量的虚影记录,数据表就具有大量的内部碎片的缺陷且没有任何益处。这些虚影记录
在所有相关事务被提交或者回滚以前都不会被清除。
--查询脚本
--为防止db_id和object_id无效时,会返回NULL,而不会报错,这样就会查询所有数据库和数据库中的全部对象,
--而不是我们要查询的数据库和数据库对象
DECLARE @db_id SMALLINT;
DECLARE @object_id INT;
SET @db_id = DB_ID(N'AdventureWorks');
SET @object_id = OBJECT_ID(N'AdventureWorks.Person.Address');
IF @db_id IS NULL
BEGIN;
PRINT N'Invalid database';
END;
ELSE IF @object_id IS NULL
BEGIN
PRINT N'Invalid object';
END;
SELECT * FROM sys.dm_db_index_physical_stats
(@db_id, @object_id, NULL, NULL, NULL);
三碎片移除
重新组织
范围:avg_fragmentation_in_percent 的值在到之间
ALTER INDEX idx_cl_od ON dbo.Orders REORGANIZE;
重新生成
范围:avg_fragmentation_in_percent 值大于或avg_fragment_size_in_pages值小于
ALTER INDEX idx_cl_od ON dbo.Orders REBUILD WITH (ONLINE = ON);
四索引重建
ALTER INDEX PK_TransactionHistory_TransactionID
ON Production.TransactionHistory REBUILD;
-- 推荐DROP_EXISTING属性
CREATE UNIQUE CLUSTERED INDEX PK_TransactionHistory_TransactionID
ON Production.TransactionHistory
(TransactionDate, TransactionID)
WITH DROP_EXISTING;
--将自动重新组织或重新生成数据库中平均碎片超过10%的所有分区
-- ensure a USE <databasename> statement has been executed first.
SET NOCOUNT ON;
DECLARE @objectid int;
DECLARE @indexid int;
DECLARE @partitioncount bigint;
DECLARE @schemaname sysname;
DECLARE @objectname sysname;
DECLARE @indexname sysname;
DECLARE @partitionnum bigint;
DECLARE @partitions bigint;
DECLARE @frag float;
DECLARE @command varchar(8000);
-- ensure the temporary table does not exist
IF EXISTS (SELECT name FROM sys.objects WHERE name = 'work_to_do')
DROP TABLE work_to_do;
-- conditionally select from the function, converting object and index IDs to names.
SELECT
object_id AS objectid,
index_id AS indexid,
partition_number AS partitionnum,
avg_fragmentation_in_percent AS frag
INTO work_to_do
FROM sys.dm_db_index_physical_stats (DB_ID(), NULL, NULL , NULL, 'LIMITED')
WHERE avg_fragmentation_in_percent > 10.0 AND index_id > 0;
-- Declare the cursor for the list of partitions to be processed.
DECLARE partitions CURSOR FOR SELECT * FROM work_to_do;
-- Open the cursor.
OPEN partitions;
-- Loop through the partitions.
FETCH NEXT
FROM partitions
INTO @objectid, @indexid, @partitionnum, @frag;
WHILE @@FETCH_STATUS = 0
BEGIN;
SELECT @objectname = o.name, @schemaname = s.name
FROM sys.objects AS o
JOIN sys.schemas as s ON s.schema_id = o.schema_id
WHERE o.object_id = @objectid;
SELECT @indexname = name
FROM sys.indexes
WHERE object_id = @objectid AND index_id = @indexid;
SELECT @partitioncount = count (*)
FROM sys.partitions
WHERE object_id = @objectid AND index_id = @indexid;
-- 30 is an arbitrary decision point at which to switch between reorganizing and rebuilding
IF @frag < 30.0
BEGIN;
SELECT @command = 'ALTER INDEX ' + @indexname + ' ON ' + @schemaname + '.' + @objectname + ' REORGANIZE';
IF @partitioncount > 1
SELECT @command = @command + ' PARTITION=' + CONVERT (CHAR, @partitionnum);
EXEC (@command);
END;
IF @frag >= 30.0
BEGIN;
SELECT @command = 'ALTER INDEX ' + @indexname +' ON ' + @schemaname + '.' + @objectname + ' REBUILD';
IF @partitioncount > 1
SELECT @command = @command + ' PARTITION=' + CONVERT (CHAR, @partitionnum);
EXEC (@command);
END;
PRINT 'Executed ' + @command;
FETCH NEXT FROM partitions INTO @objectid, @indexid, @partitionnum, @frag;
END;
-- Close and deallocate the cursor.
CLOSE partitions;
DEALLOCATE partitions;
-- drop the temporary table
IF EXISTS (SELECT name FROM sys.objects WHERE name = 'work_to_do')
DROP TABLE work_to_do;
GO
五存在疑问
填充因子的大小,该如何决定呢?
“碎片越大,意味着读取相同页数所需的磁盘I/O 越少”,这句话不太理解。
虚影记录,该如何处理?
解答:
它依赖于应用程序对SQLServer表的读和写的比率。首要的原则,按照下面的指导:
低更改的表(读写比率为:):%的填充因子
高更改的表(写超过读):-70%的填充因子
读写各一半的:-90%的填充因子