[转]深度剖析堆与栈

深度剖析堆与栈
 

一、预备知识—程序的内存分配


一个由c/C++编译的程序占用的内存分为以下几个部分
1、栈区(stack)—   由编译器自动分配释放 ,存放函数的参数值,局部变量的值等。其操作方式类似于数据结构中的栈。
2、堆区(heap) —   一般由程序员分配释放, 若程序员不释放,程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事,分配方式倒是类似于链表,呵呵。
3、全局区(静态区)(static)—,全局变量和静态变量的存储是放在一块的,初始化的全局变量和静态变量在一块区域, 未初始化的全局变量和未初始化的静态变量在相邻的另一块区域。 - 程序结束后有系统释放
4、文字常量区  —常量字符串就是放在这里的。 程序结束后由系统释放
5、程序代码区—存放函数体的二进制代码。
二、例子程序
这是一个前辈写的,非常详细
//main.cpp
int a = 0; 全局初始化区
char *p1; 全局未初始化区
main()
{
int b; 栈
char s[] = "abc"; 栈
char *p2; 栈
char *p3 = "123456"; 123456\0在常量区,p3在栈上。
static int c =0; 全局(静态)初始化区
p1 = (char *)malloc(10);
p2 = (char *)malloc(20);
分配得来得10和20字节的区域就在堆区。
strcpy(p1, "123456"); 123456\0放在常量区,编译器可能会将它与p3所指向的"123456"优化成一个地方。
}


二、堆和栈的理论知识
2.1申请方式
stack:
由系统自动分配。 例如,声明在函数中一个局部变量 int b; 系统自动在栈中为b开辟空间
heap:
需要程序员自己申请,并指明大小,在c中malloc函数
如p1 = (char *)malloc(10);
在C++中用new运算符
如p2 = (char *)malloc(10);
但是注意p1、p2本身是在栈中的。


2.2
申请后系统的响应
栈:只要栈的剩余空间大于所申请空间,系统将为程序提供内存,否则将报异常提示栈溢出。
堆:首先应该知道操作系统有一个记录空闲内存地址的链表,当系统收到程序的申请时,
会遍历该链表,寻找第一个空间大于所申请空间的堆结点,然后将该结点从空闲结点链表中删除,并将该结点的空间分配给程序,另外,对于大多数系统,会在这块内存空间中的首地址处记录本次分配的大小,这样,代码中的delete语句才能正确的释放本内存空间。另外,由于找到的堆结点的大小不一定正好等于申请的大小,系统会自动的将多余的那部分重新放入空闲链表中。

2.3申请大小的限制
栈:在Windows下,栈是向低地址扩展的数据结构,是一块连续的内存的区域。这句话的意思是栈顶的地址和栈的最大容量是系统预先规定好的,在WINDOWS下,栈的大小是2M(也有的说是1M,总之是一个编译时就确定的常数),如果申请的空间超过栈的剩余空间时,将提示overflow。因此,能从栈获得的空间较小。
堆:堆是向高地址扩展的数据结构,是不连续的内存区域。这是由于系统是用链表来存储的空闲内存地址的,自然是不连续的,而链表的遍历方向是由低地址向高地址。堆的大小受限于计算机系统中有效的虚拟内存。由此可见,堆获得的空间比较灵活,也比较大。


2.4申请效率的比较:
栈由系统自动分配,速度较快。但程序员是无法控制的。
堆是由new分配的内存,一般速度比较慢,而且容易产生内存碎片,不过用起来最方便.
另外,在WINDOWS下,最好的方式是用VirtualAlloc分配内存,他不是在堆,也不是在栈是直接在进程的地址空间中保留一快内存,虽然用起来最不方便。但是速度快,也最灵活。

2.5堆和栈中的存储内容
栈: 在函数调用时,第一个进栈的是主函数中后的下一条指令(函数调用语句的下一条可执行语句)的地址,然后是函数的各个参数,在大多数的C编译器中,参数是由右往左入栈的,然后是函数中的局部变量。注意静态变量是不入栈的。
当本次函数调用结束后,局部变量先出栈,然后是参数,最后栈顶指针指向最开始存的地址,也就是主函数中的下一条指令,程序由该点继续运行。
堆:一般是在堆的头部用一个字节存放堆的大小。堆中的具体内容有程序员安排。

2.6存取效率的比较

char s1[] = "aaaaaaaaaaaaaaa";
char *s2 = "bbbbbbbbbbbbbbbbb";
aaaaaaaaaaa是在运行时刻赋值的;
而bbbbbbbbbbb是在编译时就确定的;
但是,在以后的存取中,在栈上的数组比指针所指向的字符串(例如堆)快。
比如:
#i nclude
void main()
{
char a = 1;
char c[] = "1234567890";
char *p ="1234567890";
a = c[1];
a = p[1];
return;
}
对应的汇编代码
10: a = c[1];
00401067 8A 4D F1 mov cl,byte ptr [ebp-0Fh]
0040106A 88 4D FC mov byte ptr [ebp-4],cl
11: a = p[1];
0040106D 8B 55 EC mov edx,dword ptr [ebp-14h]
00401070 8A 42 01 mov al,byte ptr [edx+1]
00401073 88 45 FC mov byte ptr [ebp-4],al
第一种在读取时直接就把字符串中的元素读到寄存器cl中,而第二种则要先把指针值读到edx中,在根据edx读取字符,显然慢了。


2.7小结:
堆和栈的区别可以用如下的比喻来看出:
使用栈就象我们去饭馆里吃饭,只管点菜(发出申请)、付钱、和吃(使用),吃饱了就走,不必理会切菜、洗菜等准备工作和洗碗、刷锅等扫尾工作,他的好处是快捷,但是自由度小。
使用堆就象是自己动手做喜欢吃的菜肴,比较麻烦,但是比较符合自己的口味,而且自由度大。

 

堆和栈的联系与区别dd

   在bbs上,堆与栈的区分问题,似乎是一个永恒的话题,由此可见,初学者对此往往是混淆不清的,所以我决定拿他第一个开刀。

    首先,我们举一个例子:

    void f() { int* p=new int[5]; }

    这条短短的一句话就包含了堆与栈,看到new,我们首先就应该想到,我们分配了一块堆内存,那么指针p呢?他分配的是一块栈内存,所以这句话的意思就是:在栈内存中存放了一个指向一块堆内存的指针p。在程序会先确定在堆中分配内存的大小,然后调用operator new分配内存,然后返回这块内存的首地址,放入栈中,他在VC6下的汇编代码如下:

    00401028   push        14h

    0040102A   call        operator new (00401060)

    0040102F   add         esp,4

    00401032   mov         dword ptr [ebp-8],eax

    00401035   mov         eax,dword ptr [ebp-8]

    00401038   mov         dword ptr [ebp-4],eax

    这里,我们为了简单并没有释放内存,那么该怎么去释放呢?是delete p么?澳,错了,应该是delete []p,这是为了告诉编译器:我删除的是一个数组,VC6就会根据相应的Cookie信息去进行释放内存的工作。

    好了,我们回到我们的主题:堆和栈究竟有什么区别?

    主要的区别由以下几点:

    1、管理方式不同;

    2、空间大小不同;

    3、能否产生碎片不同;

    4、生长方向不同;

    5、分配方式不同;

    6、分配效率不同;

    管理方式:对于栈来讲,是由编译器自动管理,无需我们手工控制;对于堆来说,释放工作由程序员控制,容易产生memory leak。

    空间大小:一般来讲在32位系统下,堆内存可以达到4G的空间,从这个角度来看堆内存几乎是没有什么限制的。但是对于栈来讲,一般都是有一定的空间大小的,例如,在VC6下面,默认的栈空间大小是1M(好像是,记不清楚了)。当然,我们可以修改:   

    打开工程,依次操作菜单如下:Project->Setting->Link,在Category 中选中Output,然后在Reserve中设定堆栈的最大值和commit。

注意:reserve最小值为4Byte;commit是保留在虚拟内存的页文件里面,它设置的较大会使栈开辟较大的值,可能增加内存的开销和启动时间。

    碎片问题:对于堆来讲,频繁的new/delete势必会造成内存空间的不连续,从而造成大量的碎片,使程序效率降低。对于栈来讲,则不会存在这个问题,因为栈是先进后出的队列,他们是如此的一一对应,以至于永远都不可能有一个内存块从栈中间弹出,在他弹出之前,在他上面的后进的栈内容已经被弹出,详细的可以参考数据结构,这里我们就不再一一讨论了。

    生长方向:对于堆来讲,生长方向是向上的,也就是向着内存地址增加的方向;对于栈来讲,它的生长方向是向下的,是向着内存地址减小的方向增长。

    分配方式:堆都是动态分配的,没有静态分配的堆。栈有2种分配方式:静态分配和动态分配。静态分配是编译器完成的,比如局部变量的分配。动态分配由alloca函数进行分配,但是栈的动态分配和堆是不同的,他的动态分配是由编译器进行释放,无需我们手工实现。

    分配效率:栈是机器系统提供的数据结构,计算机会在底层对栈提供支持:分配专门的寄存器存放栈的地址,压栈出栈都有专门的指令执行,这就决定了栈的效率比较高。堆则是C/C++函数库提供的,它的机制是很复杂的,例如为了分配一块内存,库函数会按照一定的算法(具体的算法可以参考数据结构/操作系统)在堆内存中搜索可用的足够大小的空间,如果没有足够大小的空间(可能是由于内存碎片太多),就有可能调用系统功能去增加程序数据段的内存空间,这样就有机会分到足够大小的内存,然后进行返回。显然,堆的效率比栈要低得多。

    从这里我们可以看到,堆和栈相比,由于大量new/delete的使用,容易造成大量的内存碎片;由于没有专门的系统支持,效率很低;由于可能引发用户态和核心态的切换,内存的申请,代价变得更加昂贵。所以栈在程序中是应用最广泛的,就算是函数的调用也利用栈去完成,函数调用过程中的参数,返回地址,EBP和局部变量都采用栈的方式存放。所以,我们推荐大家尽量用栈,而不是用堆。

    虽然栈有如此众多的好处,但是由于和堆相比不是那么灵活,有时候分配大量的内存空间,还是用堆好一些。

    无论是堆还是栈,都要防止越界现象的发生(除非你是故意使其越界),因为越界的结果要么是程序崩溃,要么是摧毁程序的堆、栈结构,产生以想不到的结果,就算是在你的程序运行过程中,没有发生上面的问题,你还是要小心,说不定什么时候就崩掉,那时候debug可是相当困难的:)

     对了,还有一件事,如果有人把堆栈合起来说,那它的意思是栈,可不是堆,呵呵,清楚了

通过堆栈调用解析多线程   

    首先说明一下,堆是进程的全局数据内存存储区,栈是函数的局部数据内存存储区。由于大多数书籍在介绍堆或栈时,皆以堆栈泛指,因此,题目标题亦如此表述,希望读者不要混淆就是了。
    初见标题,也许有人觉得奇怪,多线程和堆栈有关系吗?初学多线程,很多概念难以辨清。要全面深入理解多线程,必须对栈有十分清楚的理解。个人感觉在Windows编程中,栈的概念犹如C/C++中的指针,非常重要,但难于全面理解。市面上的书籍对堆栈的介绍或是蜻蜓点水、浮于表面;或是过于理论化,不够具体,不易理解。在这里,我以示例的形式将自己的一点学习体会写出来与大家分享。为了便于表述清楚,文章分为两部分:第一部分介绍栈的调用,这是此篇文章的核心。第二部分解析多线程的概念。
一、栈的调用
    众所周知,在函数调用过程中,参数的传递是通过栈完成的,具体到机器码是什么样子呢?不同的调用约定(PASCAL约定或STDCALL约定等)将导致不同的参数压栈顺序,这些细节就略去不讲了,有兴趣的读者可以参考相关书目。为了把栈的概念表述清楚,这里将涉及到一些简单的汇编语言方面的知识,一点点而已。然后以一个简单的C++控制台程序为示例来进一步详细说明。先把代码列出来,够简单吧。
#include<iostream.h>
int fn(int n)
{
    n+=1;
    return n;
}
void main()
{
    int i=1,j=10;
    i=fn(i);  // A
    j=fn(j);  // B
    cout<<i<<" "<<j<<endl;
}
    现在我们需要一点汇编方面的知识,以更好地了解栈是个什么东东。通俗一点讲,栈就是一块内存存储区,但是,这块内存存储区的操作使用有点特别。栈是由CPU直接管理的内存数组,CPU使用寄存器对其进行管理。ESP寄存器存放栈底(栈是向下增长的)数据的地址。push指令将数据压入栈中,ESP寄存器的值将随之减小;相反,pop指令将数据从栈底弹出,ESP寄存器的值随之增大。这样,ESP寄存器将始终存放栈底数据的地址。另一方面呢,CPU在执行代码的时候,完全是依靠CPU内部的寄存器完成的。通过EIP寄存器寻找当前要执行的代码,通过EBP、ESP定位函数参数的地址、函数局部变量,等等等等。
    下面让我们看一下,当某一个函数被调用时,栈将有何变动。
    (l)、函数参数被压入栈中。
    (2)、返回地址(被调用函数执行完后将被执行的语句地址)被压入栈中,函数被调用,此时,CPU将准备执行函数体内的代码。
    (3)、函数代码开始执行,首先执行的是将EBP压入栈中。
    (4)、使EBP的值等于ESP。现在,EBP纪录的是当前栈底地址(ESP),以后函数就可以利用EBP对压栈的函数参数进行寻址了(此时已压栈的有函数参数、返回地址、EBP原始值)。
    (5)、从ESP中减掉一定的数值,为函数留下局部变量空间。此后,ESP将用于局部变量的寻址。
    编译器设计者的聪明才智真是令人敬佩。高级语言书写简单的一句函数调用,被编译成了如此繁杂的机器代码。
    好了,下面我们再具体一点,以前面的C++程序为例,以VC反汇编断点调试的方式,看看以上过程是如何实现的。
    在A处,进程的主线程调用了函数fn并传递了参数。其汇编代码如下:
004010B6  mov  eax,dword ptr [ebp-4]  //此时ebp=0x0012ff80,&i=0x12ff7c,ebp-4为i的地址
004010B9  push  eax
004010BA  call  @ILT+20(fn) (00401019)
    再明显不过了,第一行汇编代码将变量i的数值放入寄存器eax中。第二行汇编代码将变量i的数值压入栈中,对应前面(1)。第三行汇编代码执行call指令,此条指令自动将返回地址压入栈中,然后,跳转到函数体内部,准备执行函数内部的代码,对应前面(2)。
    现在我们再来看看函数内部的代码是什么样子。这里只截取部分相关代码。
2:    int fn(int n)
3:    {
00401050  push  ebp
00401051  mov   ebp,esp
…    …    …    …
4:        n+=1;
00401068  mov  eax,dword ptr [ebp+8]    //此时ebp=0x12ff20  &n=0x12ff28  eax=1
0040106B  add  eax,1
0040106E  mov  dword ptr [ebp+8],eax
    第一行汇编代码对应前面(3)。第二行汇编代码对应前面(4)。第三行汇编代码将变量n的数值放入寄存器eax中。第四行汇编代码将其加一。第五行汇编代码将结果放回变量n。这里可以十分清楚地看到,EBP寄存器用于参数的寻址。
    现在我们再看看B处函数调用的情况。
004010C5  mov  ecx,dword ptr [ebp-8]    //此时ebp=0x12ff80,&j=0x12ff78 ,ebp-8为j的地址
004010C8  push  ecx
004010C9  call   @ILT+20(fn) (00401019)
    可以看到,除了压栈数值变化以外,没有其它不同了。A处压栈i,B处压栈j。
    下面使用VC单步调试,再来看函数体内部,汇编代码没有任何不同,不同的只是栈。当然了,函数体的代码是编译器一次性编译的。即使被多次调用,去完成不同的工作,不同的只是参数(调用栈),函数内部使用间接寻址,只是相同的机器码操作不同的内存存储区而已。
2:    int fn(int n)
3:    {
00401050  push  ebp
00401051  mov   ebp,esp
…    …    …    …
4:        n+=1;
00401068  mov  eax,dword ptr [ebp+8]    //此时ebp=0x12ff20  &n=0x12ff28  eax=10
0040106B  add  eax,1
0040106E  mov  dword ptr [ebp+8],eax
    到了这里,栈的概念就讲完了。
二、解析多线程
    这里首先要明确一点:每一个线程都独立拥有一个栈。
    我们知道,Windows系统是一个多任务操作系统,多个线程可以“同时”执行。前面讲到,CPU执行程序代码完全依靠各种寄存器。当一个线程将被挂起时,当前的各种寄存器的数值就被存储在了线程的栈中。当CPU重新执行此线程时,将从栈中取出寄存器的数值,接着运行,好像这个线程从来就没有被打断过一样。正是因为每个线程都有一个独立的栈,使线程拥有了可以“闭门造车”的能力。只要将参数传递给线程的栈,CPU将担负起这块内存存储区的管理工作,并适时地执行线程函数代码对其进行操作,所有这一切与前面所讲述的没有不同。当系统在多个线程间切换时,CPU将执行相同的代码操作不同的栈。
    下面举一个例子来加深理解。
    随着面向对象编程方法的普及,我们很乐意将任何操作都包装成为一个类。线程函数也不例外,以静态函数的形式将线程函数放在类中是C++编程普遍使用的一种方法。通常情况下对象包括属性(类变量)与方法(类函数)。属性指明对象自身的性质,方法用于操作对象,改变它的属性。现在有一个小问题要注意了。类的静态函数只能访问类的静态变量,而静态变量是不属于单个对象的,他存放在进程的全局数据存储区。一般情况下,我们希望每个对象能够“独立”,也就是说,多个对象能够各自干各自的工作,不要相互打扰。如果以通常的方法,以类(静态)变量存储对象的属性,可就要出问题了,因为类(静态)变量不属于单个对象。现在怎么办呢?如何继续保持每个对象的“独立性”。解决的方法就是使用栈,将参数传递给线程函数的局部变量(栈存储区),以单个对象管理每个线程,问题就解决了。当然了,解决方法是多种多样的,这里只是为了进一步解释多线程与对象的关系。
    由于Windows的内部实现实在是太复杂了,这里只是在应用的层面上对栈给出解释。若深入到Windows内部,栈的定位首先需要依据寄存器SS经由(全局或局部)段描述符表得到相应的线性地址(虚拟地址)基址,此基址与EIP相加,然后再经由分页机制寻址物理内存。有兴趣的读者可以参阅文章后面的参考书目。一点学习体会写出来与大家分享,有不对的地方,欢迎指正。

posted @ 2008-07-28 22:20  吴碧宇  阅读(287)  评论(0编辑  收藏  举报