程序局部性原理的一些思考

今天OS课上老师提到影响缺页次数的因素中有一个是 程序的局部性越好，越不容易缺页，并举了个关于双重for循环顺序的选择问题作为例子。
我回去也查询资料研究了一下这个问题。

何为程序的局部性(locality)

程序的局部性原理是指程序在执行时呈现出局部性规律，即在一段时间内，整个程序的执行仅限于程序中的某一部分。相应地，执行所访问的存储空间也局限于某个内存区域。也就是说，程序倾向于引用邻近于其他最近引用过得数据项，或者最近引用过的数据项本身。我的理解就是：通过利用“缓存”来提高程序运行效率

程序的局部性又通常有两种不同的形式：时间局部性(temporal locality)和空间局部性(spatial locality).

时间局部性：被引用过一次的存储器位置在未来会被多次引用

空间局部性：如果一个存储器的位置被引用，那么将来他附近的位置也会被引用。也就是说靠近当前正在被访问内存的内存内容很快也会被访问。

理论分析

先以一维数组为例，考虑对程序数据引用的局部性。

借用《深入理解计算机系统》书中的例子进行分析

sumvec函数中数组v的元素是被顺序读取的，一个接一个，按照它们存储在存储器中的顺序。(假设地址从0开始).因此对于变量V，函数有很好的空间的局部性。因此这个函数有良好的局部性。

向上面例子中按顺序、连续的对v的引用，称为步长为1的引用模式（相对于元素大小）。同理，在一个连续的向量中，每隔k个元素对向量进行访问，称为步长为k的引用。一般来说，随着步长的增加，空间局部性会下降。

再考虑二维数组

图中函数是对一个二维数组求和(M=2,N=3)。双重嵌套循环按照行优先的顺序读取数组的元素。因此函数具有良好的空间局部性，因为它按照数组被存储的行优先顺序来访问这个数组，因此得到的是一个步长为1的引用模式和良好的空间局部性。从而使得程序运行效率得到提高。

但我们更换读取顺序的时候，交换i和j的循环。如下图所示

这时候发生了巨大的变化！函数的空间局部性变得很差，因为他按照列顺序来扫描数组，而不是按照行顺序。因为C数组在存储器中是按照行顺序的，结果这里就得到的是步长为N的引用模式。从而使得程序效率降低。

代码实例测试

实例

#include <stdio.h>
#include <stdlib.h>
#include <time.h>
int main()
{
    int a[500][500];
    int i,j;
    clock_t start, finish;
    double  duration;
    start = clock();
    for (int k = 0; k < 1000; k++)//循环放大时间
    {
        for(i=0; i<500; i++)
        {
            for(j=0; j<500; j++)
            {
                a[i][j]=i;
            }
        }
    }
    finish = clock();
    duration = (double)(finish - start) / CLOCKS_PER_SEC;
    printf( "%f seconds\n", duration );

    start = clock();
    for (int k = 0; k < 1000; k++)//循环放大时间
    {
        for(j=0; j<500; j++)
        {
            for(i=0; i<500; i++)
            {
                a[i][j]=i;
            }
        }
    }
    finish = clock();
    duration = (double)(finish - start) / CLOCKS_PER_SEC;
    printf( "%f seconds\n", duration) ;
    return 0;
}

运行结果1

可以发现当行列数相同的时候，按照行顺序扫面的效率要高一些。也符合之前的理论分析.

运行结果2

当我把数组定义改为a[10][10000]的时候，测试结果如下，依旧为行顺序扫描效率较高。

运行结果3

数组改为a[10000][10]后，测试结果如下，依旧为行顺序扫描效率较高。

小结

通过对双重循环不同循环顺序的效率分析，初步理解了局部性原理。也就是说现代的计算机体系的存储技术至少都用了局部存储思想，即CPU提取内存的一个位置的数据放到cache中的同时，也会把其附近的数据也提取到cache中，如果内存以行优先存储方式（注意这个前提！），则提取Array[0][0]位置的数据的同时，则也会顺便把"Array[0][1], Array[0][2],tArray[0][3], Array[0][4]..."等数据提取出来存放在缓存中。这样在后边连续的几次循环中均可以命中缓存，从而减少缓存失效，提高程序的运行效率。