DB-SQL Server:索引----索引 (原理、存储)聚集索引、非聚集索引、堆 <第一篇>
一、存储结构
在SQL Server中，有许多不同的可用排列规则选项。
二进制：按字符的数字表示形式排序(ASCII码中，用数字32表示空格，用68表示字母"D")。因为所有内容都表示为数字，所以处理起来速度最快，遗憾的是，它并不总是如人们所想象，在WHERE子句中进行比较时，使用该选项会造成严重的混乱。
字典顺序：这种排序方式与在字典中看到的排序方式一样，但是少有不同，可以设置大量不同的额外选项来决定是否区分大小写、音调和字符集。
1、平衡树(B-树)
平衡树或B-树仅是提供了一种以一致且相对低成本的方式查找特定信息的方法。其名称中的"平衡"是自说明的。平衡树是自平衡的，这意味着每次树进行分支时都有接近一半的数据在一边，而另一半数据在另一边。树命名的由来是因为，如果绘制该结构，再倒过来，发现很像一棵树，因此称树。
平衡树始于根节点。如果有少量的数据，这个根节点可以直接指向数据的实际位置。
结构图:
因此，从根节点开始并浏览记录，直到找到以小于查找值的值开始的最后一页。然后获得指向该节点的一个指针并且浏览它。直到找到想要的行。
当数据很多时，根节点中指向中间的节点(非页级节点)。非页级节点是位于根节点和说明数据的物理存储位置的节点之间的节点
根节点->中间节点(非叶级节点)[n个]->存储位置节点(叶级节点)
非叶级节点可以指向其他非叶级节点或叶级节点。叶级节点是从中可获得实际物理数据的引用的节点。
从上图可以看出，查找开始于根节点，然后移动到以等于或小于查找值的最高值开始的同时也在下一级节点中的节点。然后重复这个过程-查找具有等于或者小于查找值的最高起始值节点。继续沿着树一级一级往下，直到二级节点-从而知道数据的物理位置。
2、页拆分
所有这些页在读取方面工作良好-但在插入时会有点麻烦。前面提到B-树结构，每次遇到树中的分支时，因为每一边都大约有一半的数据，所以B-树是平衡的。另外，由于添加新数据到树的方法一般可避免出现不平衡，所以B-树有时被认为是自平衡的。
通过将数据添加到树上，节点最终将变满，并且将需要拆分。因为在 SQL Server中，一个节点相当于一个页-所以这被称为页拆分。如图所示：
当发生页拆分时，数据自动地四处移动以保持平衡，数据的前半部分保留在旧页上，而数据的剩余部分添加到新页 - 这样就形成了对半拆分，使得树保持平衡。
如果考虑下这个拆分过程，将认识到它在拆分时增加了大量的系统开销。不只是插入一页还将进行下列操作：
- 创建新页
- 将行从现有数据页移动到新页上
- 将新行添加到其中一页上
- 在父节点中添加另一个记录项
注意最后一条，如果在父节点中添加记录时，父页也满了引起拆分，整个过程会重新开始。甚至会影响到根节点。并且，如果根节点拆分，那么实际最终会创建两个额外的页，因此只能有一个根节点，所以之前的根节点的页被拆分成两个页，而且称为树的新中间级别节点。然后创建全新的根节点，并且将有两个记录项，指向刚刚由根节点分拆出来的两个中间节点。
由上面的原理可以知道，当向树的上层移动时，页拆分的数量变得越来越少。因为下级的一个页拆分对上级来说是一条记录。
虽然SQL Server有许多不同类型的索引，但是所有这些索引都以某种方式利用这种平衡树方法。事实上由于平衡树的灵活特性，所有索引在结构上都非常类似，不过他们实际上还有一点点区别，并且这些区别会对系统的性能产生影响。
3、SQL Server中访问数据的方式
从广义上讲，SQL Server检索所需数据的方法只有两种：
- 使用全表扫描
- 使用索引
1、使用全表扫描
表扫描是相当直观。当执行表扫描时，SQL Server从表的物理起点处开始，浏览表中的每一行。当发现和查询条件匹配的行时，就在结果集中包含它们。关于表扫描很多说法都是效率低，但是如果表数据减少的情况下，实际上使用表扫描却是最快的。
2、使用索引
在查询优化过程中，优化器查看所有可用的索引结构并且选择最好的一个(这主要基于在连接和WHERE子句中所指定的信息，以及SQL Server在索引结构中保存的统计信息)。一旦选择了索引，SQL Server将在树结构中导航至与条件匹配的数据位置，并且只提取它所需的记录。与表扫描的区别在于，因为数据时排序的，所以查询引擎知道它何时到达正在查找的当前范围的下界。然后它可以结束查询，或者根据需要移至下一数据范围。EXISTS的工作方式是查到匹配的记录SQL Server就立即停止。使用索引所获得的性能与使用EXISTS类似甚至更好，因为查找数据的过程的工作方式是类似的；也就是说，服务器可能使用某种索引知道何时没有相关内容，并且立即停止。此外，可以对数据执行非常快速的查找(称为SEEK)，而不是在整个表中查找。
3、索引类型和索引导航
尽管表面上在SQL Server中有两种索引结构(聚集索引和非聚集索引)，但就内部而言，有3种不同的索引类型。
- 聚集索引
- 非聚集索引，其中非聚集索引又包括以下两种：
- 堆上的非聚集索引
- 聚集表上的非聚集索引
物理数据的存储方式在聚集索引和非聚集索引中是不同的。而SQL Server遍历平衡树以到达末端数据的方式在所有3种索引类型中也是不同的。
所有的SQL Server索引都有叶级和非叶级页，叶级是保存标识记录的“键”的级别，非叶级是叶级的引导者。
索引在聚集表(如果表有聚集索引)或者堆(用于没有聚集索引的表)上创建。
(1)、聚集表
聚集表是在其上具有聚集索引的任意表。但是它们对于表而言意味着以指定顺序物理存储数据。通过使用聚集索引键唯一地标志独立的行-聚集键即定义聚集索引的列。
如果聚集索引不是唯一的，那将怎样？如果索引不是唯一索引，那么聚集索引如何用于唯一地标志一行？SQL Server会在内部添加一个后缀到键上，以保证行具有唯一的标识符。
(2)、堆
堆是在其上没有聚集索引的一个表。在这种情况下，基于行的区段、页以及行偏移量(偏移页顶部的位置)的组合创建唯一的标识符，或者称为行ID(RID)。如果没有可用的聚集键(没有聚集索引)，那么RID是唯一必要的内容。堆表并不是B树结构。
4、聚集索引
聚集索引对于任意给定的表而言是唯一的，一个表只能有一个聚集索引。不一定非要有聚集索引。聚集索引特殊的方面是：聚集索引的叶级是实际的数据-也就是说，数据重新排序，按照和聚集索引排序条件声明的相同物理顺序存储。这意味着，一旦到达索引的叶级，就到达了数据。而非聚集索引，到达了叶级只是找到了数据的引用。
任何新记录都根据聚集列正确的物理顺序插入到聚集索引中。创建新页的方式随需要插入记录的位置而变化。如果新记录需要插入到索引结构中间，就会发生正常的页拆分。来自旧页的后一半记录被移到新页，并且在适当的时候，将新记录插入到新页或旧页。如果新记录在逻辑上位于索引结构的末端，那么创建新页，但是只将新记录添加到新页。
从数据插入的角度看，这里应该能看到用int类型作为聚集索引的好处。
为了说明索引是表的顺序，请看一下表：
然后在Id列建立聚集索引：
CREATE CLUSTERED
INDEX Index_Name ON Person(Id) --建立Id列聚集索引
执行查询语句：
select top 3 * from Person
DROP INDEX Person.Index_Name --删除索引
CREATE CLUSTERED
INDEX Index_Name ON Person(Name) --再在重建Name列聚集索引
再执行查询语句：
select top 3 * from Person
输出结果如下：
留意到同样的语句，返回已经改变。可以聚集索引是表的顺序，会影响到top语句。
5、导航树
在SQL Server中甚至索引也是存储在平衡树中，在理论上，平衡树在作为树分支的每个可能方向上总是具有一般的剩余信息。聚集索引的平衡树形式如下图所示。
在这里，执行对数字158-400的范围查询(聚集索引非常擅长的事情)，只需要导航到第一个记录，并且包含在该页上的所有剩余记录。之所以知道需要该页的剩余部分，是因为来自于上一级节点的信息也需要来自一些其他页的数据。因为这是有序表，所以可以确信它是连续的-这意味着如果下一页有符合条件的记录，那么这个页的剩余部分必须被包含。无需任何验证。
首先导航到根节点。SQL Server能够给予Sys.indexes系统元数据视图中保存记录项定位根节点。
光说不练，纯属诈骗，下面以一个1万行的PersonTenThousand表来说明B树结构对数据页读取的提升。
表的内容大致如下：
一开始这张表并没有任何索引：
由于此表上没有索引，因此只能够通过堆表扫描获得所需数据，因此，无论是检索Id，还是Name列，都要整张表扫描一次。因此预读，逻辑读都要读取所有的数据页。
下面在该表的Id列建立一个聚集索引：
CREATE CLUSTERED INDEX index1 ON PersonTenThousand(ID)
再来执行相同的查询：
我们看到，由于ID列是聚集索引，因此根据ID查找，B树结构的优点就充分发挥了出来，只需要2次物理读就能够定位到数据。
而Name列上没有索引，因此还是需要预读838次(还是聚集表扫描)才能定位到数据。
以上例子充分说明了B-树结构的优点。
6、非聚集索引
6.1 非聚集索引优点:
1、因为在SQL Server中一页只是8K，页面空间有限，所以一行所包含的列数越少，它能保存的行就越多。非聚集索引通常不包含表中所有的列，它一般只包含非常少数的列。因此，一个页上将能包含比表行(所有的列)更多行的非聚集索引。因此，同样读取一页，在非聚集索引中可能包含200行，但是在表中可能只有10行，具体数据有表行的大小以及非聚集列的大小确定。
2、非聚集索引的另一个好处是，它有一个独立于数据表的结构，所以可以被放置在不同的文件组，使用不同的I/O路径，这意味着SQL Server可以并行访问索引和表，使查找更快速。
下面说明一下，非聚集索引的好处：
假设有一个单列的表，共有27行，每一页上存了3行。没有顺序，假如我们要从中查找值为5的行，那么需要的读次数为9，因为它必须扫描到最后一页，才能够确定所有页都不存在值为5的行了。
假如建立了非聚集索引：
再次查找值为5的行，那么需要的读次数为2，为什么？因为非聚集索引是有顺序的，当SQL Server读取到值为6的那一行时，就知道不必再读下去了。那么如果要读取值为25的页呢？还是需要9个读操作。因为它刚巧就在最后一页。恰好这个东西，可以通过B树结构来优化。B树算法最小化了定位所需的键值访问的页面数量，从而加速了数据访问过程。
6.2 非聚集索引的开销
索引给性能带来的好处有一定的代价。有索引的表需要更多的存储和内存空间容纳数据页面之外的索引页面。数据的增删改可能会花费更长的时间，需要更多的处理时间以维护不断变化的表的索引。如果一个INSERT语句添加一行到表中，那么它也必须添加一行到索引结构中。如果索引是一个聚集索引，开销可能会更大，因为行必须以正确的顺序添加到数据页面(当然分int聚集列和string聚集列会不同)。UPDATE和DELETE类似。
虽然索引对增删改有一定的影响，但是别忘了，要UPDATE或DELETE一行的前提是必须找到一行，因此索引实际上对于有复杂WHERE条件的UPDATE或DELETE也是有帮助的。在使用索引定位一行的有效性通常能弥补更新索引所带来的额外开销。除非索引设计不合理。
7、堆上的非聚集索引
在这里要说明一点，无论是在堆上还是在聚集列上，非聚集索引都是排序后存储的。按非聚集索引列排序。
堆上的非聚集索引和聚集索引在大多数方面以类似的方式工具。其差别如下:
叶级不是数据-相反，它是一个可从中获得指向该数据的指针的级别。该指针以RID的形式出现（堆上一RID出现，聚集表上以聚集键出现），这种RID由索引指向的特定行的区段、页以及行偏移量构成。即叶级不是实际的数据，使用叶级也仅仅比使用聚集索引多一个步骤。因为RID具有行的位置的全部信息，所以可以直接到达数据。
差了一个步骤，实际上差别的系统开销是很大的。
使用聚集索引，数据在物理上是按照聚集索引的顺序排列的。这意味着，对于一定范围的数据，当找到在其上具有数据范围起点的行时，那么很可能有其他行在同一页上(也就是说，因为他们存储在一起，所以在物理上已几乎到达下一个记录)。
使用堆，数据并未通过除索引外的其他方法连接在一起。从物理上看，绝对没有任意种类的排序。这意味着从物理读取的角度看，系统不得不从整个文件中检索记录。实际上，很可能最终多次从同样的页中取出数据。SQL Server没有方法指导它将需要回到该物理位置，因为在数据之间没有连接。因此，堆上的非聚集索引的工作方式是：通过扫描堆上的非聚集索引，找到(Row_Number行号)，每找到一个RID，再通过RID取得数据。如果搜索是返回多个记录，则性能可能比不上扫描全表。下图显示用堆上的非聚集索引执行与上面聚集索引相同的查询：
主要通过索引导航，一切都按以前的方式工作，以相同的根节点开始，，并且遍历数，处理越来越集中的页。直到到达索引的叶级。这里有了区别。以聚集索引的方式，能够正好在这里停止，而以非聚集索引的方式，则需要做更多的工作。如果索引是在堆上，那么只要在进入一个级别，获得来自叶级页的RID，并且定位到该RID-直到这时才可以直接获得实际的数据。
8、聚集表上的非聚集索引
使用聚集表上的非集群索引时，还有一些类似性-但同样也有区别。和堆上的非集群索引一样，索引的非叶级及诶单的工作与使用聚集索引时几乎一样。区别出现在叶级。
在叶级，与使用其他两种索引结构所看到的内容有相当明显的区别。聚集表上的非集群索引有另外一个索引来查找。使用聚集索引，当到达叶级时，可以找到实际的数据，当使用堆上的非集群索引，不能找到实际的数据，但是可以找到能够直接获得数据的标识符(仅仅多了一步)。使用聚集表上的非聚集索引，可以找到聚集键。也就是说，找到足够的信息继续并利用聚集索引。
以上理解，说白了就是，当使用非聚集索引时，就是遍历非聚集索引找到聚集索引，最后多次采用聚集索引找到数据。
最终结果如下图所示：
首先是一个范围搜索。在索引中执行一次单独的查找，并且可以浏览非聚集索引以找到满足条件(T%)的连续数据范围。这种能够直接到达索引中的特定位置的查找被称为seek。
然后第二个查找-使用聚集索引查找，第二种查找非常迅速：问题在于它必须执行多次。可以看到。SQL Server从第一个索引中查找检索列表(所有名字以"T"开始的列表)，但是该列表在逻辑上并没有以任意连续的方式与聚集键相匹配-每个记录单独地查找。图下图所示：
自然，这种多个查找的情况比一开始仅能使用聚集索引引入了更多的系统开销。第一个索引查找-通过非聚集索引的方法-只需要非常少的逻辑读操作。
注意上图，使用聚集表上的非聚集索引，找到的是一个聚集索引键的列表。然后用这个列表，逐个使用聚集索引查找到所需的数据。
注意，如果表没有聚集索引，建立了非聚集索引，那么非聚集索引使用的是行号，如果此时你又添加了聚集索引，那么所有的非聚集索引引用的RID都要改为聚集索引键。这对性能的消耗是非常大的，因此最好先建立聚集索引，在建立非聚集索引。
关于索引的几个要点：
- 群集索引通常比非群集索引快(书签)。
- 仅在将得到高级别选择性的列(90%以上)上放置非群集索引。
- 所有的数据操作语言(DML:INSERT、UPDATE、DELETE、SELECT)语句可以通过索引获益，但是插入、删除和更新会因为索引而变慢。
- 索引会占用空间。
- 仅当索引中的第一列和查询相关时才使用索引。
- 索引的负面影响和它的正面影响一样多 - 因此只建立需要的索引。
- 索引可为非结构化XML数据提供结构化的数据性能，但是要记住，和其他索引一样，会涉及到系统开销。
