Sql Server 2012新特性 Online添加非空栏位.
我们都知道,Sql Server在一个数据量巨大的表中添加一个非空栏位是比较费心的,缺乏经验的DBA或是开发人员甚至可能鲁莽地直接添加导致阻塞相应业务,甚至可能因为资源欠缺造成实例的全局问题.当然这都是Sql 2008R2及以前版本的情况.在SQL2012中采用了新的实现方式.这里我将对比相应的实现方式给大家做个介绍.并简单说明Sql Server早期版本添加非空列的方法.
添加非空栏位的实现方式
早期版本(Sql Server2008R2及以前)添加非空栏位(要求有默认值)是对表中的所有数据行依次修改调整
我们通过一个简单的实例来看下
Sql 2008R2 SP2 Code
Create database tadnull go use tadnull go create table t2(id int not null identity (1,1),dystr varchar(20),fixstr char(30)); go set nocount on declare @batchSize int set @batchSize=1000 declare @i int set @i=0 while(@i<20000) begin if (@i%@batchSize=0) begin if (@@TRANCOUNT>0)COMMIT TRAN BEGIN TRAN end insert into t2(dystr,fixstr)values('aaa'+str(RAND()*100000000),'bbb'+str(RAND()*100000000)) set @i=@i+1 end if (@@TRANCOUNT>0)COMMIT TRAN dbcc ind(tadnull,t2,1) -----find a datapage pageid 21 dbcc traceon(3604) dbcc page('tadnull',1,21,3)-----view the datapage 21
通过DBCC PAGE我们打印其中的一个数据页进行分析.
可以看到图1-1当前数据页的最后修改的日志记录为m_lsn = (28:69:279)
数据页中第一行数据(slot 0)页偏移量0x60,行长度为58
图1-1
添加非空栏位code
alter table t2 add tt int not null default '10' dbcc page('tadnull',1,21,3)-----view the datapage 21 select b.* from sys.system_internals_partitions a join sys.system_internals_partition_columns b on a.partition_id = b.partition_id where a.object_id = object_id('t2');-----查看行数修改情况
可以看到图1-2添加非空栏位后,字节数据页最后修改的LSN号由m_lsn = (28:69:279)变为了
m_lsn = (43:432:186),数据页中首行长度也由58变为了62正好是一个int数据类型长度.
当然我们也可以看到添加过程中会有大量的key锁出现.图1-3
(可以通过DMV查看,或者Xevents,trace profiler等探究)
从特定的DMV中,我们看到新加列的修改行数为200000,为表的数据行数,这也反应的数据修改为逐行修改.图1-4
图1-2
图1-3
图1-4
由此我们可以看到,在sql2008R2及以前版本中添加非空栏位会对表中数据逐行操作.操作执行成本很高.
接下来我们再看看sql2012采用的新的实现方式.
Sql 2012 SP1 code
Create database tadnull go use tadnull create table t2(id int not null identity (1,1),dystr varchar(20),fixstr char(30)); go set nocount on declare @batchSize int set @batchSize=1000 declare @i int set @i=0 while(@i<200000) begin if (@i%@batchSize=0) begin if (@@TRANCOUNT>0)COMMIT TRAN BEGIN TRAN end insert into t2(dystr,fixstr)values('aaa'+str(RAND()*100000000),'bbb'+str(RAND()*100000000)) set @i=@i+1 end if (@@TRANCOUNT>0)COMMIT TRAN dbcc ind('tadnull','t2',1)--------find a data page (pageid 120) dbcc traceon(3604) dbcc page('tadnull',1,120,3)
通过DBCC PAGE我们打印其中的一个数据页进行分析.
可以看到图2-1当前数据页的最后修改的日志记录为 m_lsn = (33:155:157)
数据页中第一行数据(slot 0)页偏移量0x60,行长度为58
图2-1
添加非空栏位code
alter table t2 add tt int not null default '10' dbcc page('tadnull',1, 120,3)-----view the datapage 120 select b.* from sys.system_internals_partitions a join sys.system_internals_partition_columns b on a.partition_id = b.partition_id where a.object_id = object_id('t2');-----查看行数修改情况
通过图2-2可以看出,页的最后修改的LSN记录m_lsn = (33:155:157)行长度 Length 58与添加栏位前一致！这与sql2008R2截然不同.
通过图2-3可以看出新增栏位的修改行数为0,这反应了添加新行的修改非逐行修改.
由以上两个图我们可以推断出添加新的非空栏位并非在新数据页上逐一操作,而是元数据级的操作.
感兴趣读者可以通过Xevent,Trace Profiler的锁捕捉来进一步验证.
图2-2
图2-3
在添加完后的打印数据页120的内容中我们可以看到图2-4中栏位号4名称dd已经被添加,但其物理长度为0,及行中栏位值未添加到此数据页上
图2-4
问题来了,那么这个栏位就永远不会去填充数据页而只是标识吗?
我们简单修改一下120页中的一条数据然后再打印此页内容
修改CODE
update t2 set dystr='shanksgao1111' where id=1 checkpoint dbcc page('tadnull',1,120,3)
由于我得屏幕不能完全打印单页中我们所需的内容,此页没截图,直接输出.截取其中需要信息
可以从红色的字体中看到,此页上的LSN变化为m_lsn = (157:336:2),第一行长度（id=1）变为了62(58+4)虽然我只是修改了变长栏位dystr但变长长度和以前一样.但新添加的非空栏位的值也添加到此页上来. Slot 0 Column 4 Offset 0x26 Length 4 Length (physical) 4.
******************************************打印数据页内容******************************************
m_freeData = 7640 m_reservedCnt = 0 m_lsn = (157:336:2)
m_xactReserved = 0 m_xdesId = (0:0) m_ghostRecCnt = 0
m_tornBits = -1896544491 DB Frag ID = 1
Allocation Status
GAM (1:2) = ALLOCATED SGAM (1:3) = NOT ALLOCATED
PFS (1:1) = 0x64 MIXED_EXT ALLOCATED 100_PCT_FULL DIFF (1:6) = CHANGED
ML (1:7) = NOT MIN_LOGGED
Slot 0 Offset 0x1d9a Length 62
Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS
Record Size = 62
Memory Dump @0x000000002F5EBD9A
0000000000000000: 30002a00 01000000 62626220 20203838 39373839 0.*.....bbb 889789
0000000000000014: 30202020 20202020 20202020 20202020 20200a00 0 ..
0000000000000028: 00000400 0001003e 00736861 6e6b7367 616f3131 .......>.shanksgao11
000000000000003C: 3131 11
Slot 0 Column 1 Offset 0x4 Length 4 Length (physical) 4
id = 1
Slot 0 Column 2 Offset 0x31 Length 13 Length (physical) 13
dystr = shanksgao1111
Slot 0 Column 3 Offset 0x8 Length 30 Length (physical) 30
fixstr = bbb 8897890
Slot 0 Column 4 Offset 0x26 Length 4 Length (physical) 4
dd = 10
******************************************打印数据页内容******************************************
通过上面的实例我们可以看到,在sql2012中,当我们添加一个非空栏位时,实际对相应数据页上的操作并非逐一修改添加.因此执行速度非常快,对线上业务影响很低.但由于其并非实际填充数据页使的Sql Server在应用,维护数据页时进行额外的工作.对此Sql Server采用了较为平滑的处理方式.当更新某(些)行时,再进行页中数据填充,降低了影响粒度.更友好地满足了线上业务的需求.
注:此方式添加新的非空栏位时不包括Blob数据类型.
添加行版本戳(rowversion/ timestamp)不支持.
早期版本调整方式
我们可以看到sql2012的改进,但早期版本如果维护该如何操作?
早期版本中添加非空栏位针对数据量较小的表还好,但是针对大表由于其添加非空栏位的实现特性,致使阻塞发生的几率明显加大.因此针对大表我们必须谨慎进行.
a 如果有能调整的时间窗口则可以先预估下执行时间(相似环境中测试)然后时间窗口中操作.
b 如果没有可供调整的时间窗口而需求又看似急茬,这样我们可以采用如下步骤循序渐进的调整降低其影响的粒度.
添加非空栏位
1 添加一个带默认值得可为空栏位
alter table t2 add col5 int default 100
2 添加一个约束使其col5不可为空,但不检查现有数据
ALTER TABLE t2 WITH NOCHECK ADD CONSTRAINT CK_NOTNULL CHECK (col5 IS NOT NULL)
3 轮询批量修改现有数据,更改现有col5为默认值
WHILE 1=1 BEGIN BEGIN TRAN UPDATE TOP(2000) t2 SET col5 = 100 WHERE col5 IS NULL IF @@rowcount < 2000 BEGIN COMMIT TRAN BREAK; END COMMIT TRAN END-------------限制数据量修改,尽量避免锁升级
添加行版本戳
由上面的内容我们已经知道添加行版本戳(rowversion)时无法使用新特性的,那面对大表DBA该如何操作呢？如果有相应时间窗口那是最好,如果没有,DBA需要和研发沟通利用sql server相应知识变向调整.
这里我借鉴与sql 2012 online添加非空栏位时类似的实现方式但需要研发同事配合
大表中添加行版本戳
1 创建一个与原表SCHEMA完全一致的表
2 创建一个视图为原表union all 新表
3 需研发同事配合调整访问实现方式
a 读访问从视图
b 插入操作插入到新表
c 修改操作原表移动到新表
4 采用批量轮询修改移动
5 移动完毕后调整表名称(原表改随意名,新表调整为原表名,告知研发调整,删除视图与原表)
如果研发无法配合调整,如此情况下就比较麻烦了.此时DBA需要一个时间窗口.
为了更迅捷地将相应栏位加上减小阻塞时间我们可以/尽量采取如下一系列的方式来缩短窗口时间.
1 选择实例中相关对象负载最低的时间段进行
2 为执行操作提供尽量多的资源来确保其尽快完成.
如 调整加大buffer pool的大小
操作前腾出足够的内存供其使用
Checkpoint
Dbcc dropcleanbuffers-----注意这些操作需保证实例应用在可接受的情况下进行
3 执行的会话中提前获取表级排他锁.(由于添加行版本戳本身也是逐行添加,会话中提前获取表的排他锁可以减小总共获取锁的次数进而加快执行速度)
begin tran ttt update t2 with(tablockx) set dystr='aaa' where 1=0 /*调整代码*/ alter table t2 add rv rowversion commit tran ttt
