浅墨浓香

想要天亮进城,就得天黑赶路。

导航

第18章 堆

Posted on 2015-11-08 11:45  浅墨浓香  阅读(592)  评论(0编辑  收藏  举报

18.1 进程的默认堆

(1)堆的特点

  ①不必考虑分配粒度和页面边界问题,但分配和释放内存的速度比其他方式慢

  ②堆是系统从页交换文件中预订的一块地址空间,系统会负责调拨和撤销调拨物理存储器。

(2)进程默认堆

  ①进程初始化时,系统会在进程地址空间中一个特殊的区域,这个区域为进程的默认堆(默认为1MB),也可以使用/HEAP链接器开关改变默认区域的大小,使用方法为/HEAP:reserve,[commit]

  ②许多Windows函数要用到默认堆,如ANSI版的Windows函数在底层必须先把ANSI字符串转为Unicode,再调用其Unicode版本(因为内核是Unicode版的)

  ③默认堆是进程私有的,不能为其他进程所共享。GlobalAlloc\LocalAlloc函数也是在默认堆是分配内存的。在使用剪贴板时要用GlobalAlloc从默认堆分配内存,在调用SetClipboardData时,系统会将该内存映射到进程高地址(内核分区),以便让其他进程可共享,这也就是调用GlobalAlloc时要指定为GMEM_MOVABLE的原因。

  ④对进程的默认堆的访问是串行化的。两个线程不能同时访问,只能等另一个线程结束对默认堆的访问之后才能访问(这可以防止堆被错误的分配和释放)。

  ⑤进程可以有多个堆,但默认堆只有一个。且默认堆的生命周期与进程一样,进程开始时由系统自动创建,进程结束时自动销毁。

(3)获取默认堆句柄的方法:HANDLE GetProcessHeap();

18.2 为什么要创建额外的堆

 

(1)对组件进行保护:(如图1所示)

  ①假设链表代表一个缺陷,不小心覆盖了NODE1后面的8个字节,从而破坏了BRANCH3结构体中的数据。BinTree.cpp中的代码后来在遍历二叉树时,可能因这个原因而失败。

  ②以上的错误,会造成一种假象,好象是BinTree.cpp代码出现错误,而实际上是ListList.cpp的代码有缺陷,这种错误很难跟踪与定位。

  ③可以创建两个独立的堆,一个用来保存Node结构,另一个用来保存Branch结构,这样可以使问题局部化。

(2)更有效的内存管理(如图2所示)

  ①假NODE结构为24字节,BRANCH为32字节,此时正好占满整个堆。如果释放NODE2和NODE4虽然可以回收48字节的空间,但会出现内存碎片,现在我们需要分配一个BRANCH结构时会出现失败。

  ②如果创建两个堆,每个堆只包含同样大小的对象,则可以避免上述现象。

(3)使内存访问局部化

  ①如果把内存的访问局限在一个较小的地址区间内,可以减少内存和磁盘之间的页面换入和换出操作,提高性能。

  ②程序设计时,可以在同一个堆中相邻的内存地址分配NODE对象,这样就可以尽可能把多个NODE对象放在同一个物理内存页中,遍历链表时,就可以减少访问太多的不同页面而导致页面的换入换出的交换操作。

  ③如果在同一个堆中分配了NODE和BRANCH对象且各个NODE对象都不相邻,极端情况下,设每个内存页只有一个NODE对象和BRANCH对象,这时遍历链表时可能会导致访问每个NODE都会引起页面错误,效率极低。

(4)避免线程同步的开销

  ①默认下对堆的访问是依次进行的。这样即使在同一时刻有多个线程要访问堆,也不会出现数据被破坏的情况,但堆函数要执行额外的堆的线程安全性保护的代码。

  ②如果创建一个新的堆,且该堆只会有一个线程会对其访问,这里可以给堆指定HEAP_NO_SERIALIZE属性,这样堆函数就不需执行额外的保护代码,从而提高了速度。

(5)快速释放

  把一些数据结构存入一个专门的堆时,在不需要这些结构时,可以不必显式地释放堆中的每个内存块。而是可以直接销毁整个堆。

18.3 如何创建额外的堆

(1)创建私有堆的函数:HANDLE HeapCreate(fdwOptions,dwInitialSize,dwMaximumSize)

参数

含义

DWORD fdwOptions

新堆的可选属性,可以是下列的组合

①0:默认

②HEAP_NO_SERIALIZE:非独占地访问堆,不需要串行化。不指定该标志时,就是默认的独占访问。(该标志是线程不安全,不建议使用!),

③HEAP_GENERATE_EXCEPTIONS:当在堆中分配或重新分配内存块失败时,执出一个异常,用于通知应用程序有错误发生。

③HEAP_CREATE_ENABLE_EXCUTE:在堆中存放可执行代码,但需要在“数据执行保护”选项中启用DEP(详细可参考第13章)

SIZE_T dwInitialSize

初始化时,要调拨给堆的字节数。函数会将该值向上取整到CPU页面大小的整数倍。

SIZE_T dwMaximumSize

堆所能增长到的最大大小。如果设为0,表示没有上限。从堆中分配内存会使堆用尺所有的物理存储器为止。

返回值

返回新创建的私有堆的句柄。

备注:①默认下,调用Heap*函数,如果操作系统发现堆被破坏(如写内存时越界),这时在调试运行时会引发一个断言,但没有其他信息。

②可以在堆管理器中进行设置,一旦Heap*函数发现堆破坏,就抛出一个异常,方法如下:

HeapSetInformation(NULL,HeapEnableTerminationOnCorruption,NULL,0)。这个策略会应用到进程中所有的堆。而且一旦为进程所有的堆启用这个特性,就再也无法禁用它了。

(2)从堆中分配内存块:PVOID HeapAlloc(hHeap,fdwFlags,dwBytes)

参数

含义

HANDLE hHeap

堆的句柄,表示要从哪个堆中分配内存。

DWORD fdwFlags

HEAP_ZERO_MEMORY:把内存块内容清零

HEAP_GENERATE_EXECPTIONS:如果堆中没有足够内存,函数会抛出异常。如果内存不足时,会抛出STATUS_NO_MEMORY异常;如果堆被破坏或传入的参数不正确时,会抛出STATUS_ACCESS_VIOLATION异常。

HEAP_NO_SERIALIZE:强制系统不要把这次的HeapAlloc调用与其他线程对同一个堆的访问串行化。(可能破坏堆的完整性,慎用!)

SIZE_T dwBytes

要从堆中分配多少个字节

返回值

返回分配到的内存地址。

备注:①调用HeapCreate时可以传入HEAP_GENERATE_EXCEPTIONS标志,这时HeapAlloc可以不指定。如果在创建堆的时候没有指定这个标志,而是在调用HeapAlloc时指定的话,则这个标志只影响当前这次调用,而不会影响在这个堆上所有其他对HeapAlloc函数的调用。

②在分配大块内存(1MB或更多)时,应避免使用堆函数,建议使用VirtualAlloc函数。

③如果分配大小不同的内存块,可能很容易产生地址空间碎片化,我们可以强制系统在分配内存时使用一种低碎片堆的算法。(如果堆使用的是HEAP_NO_SERIALIZE创建,下列调用会失败)

    ULONG iValue = 2;

HeapSetInformation(hHeap,HeapCompatibilityInformation,&iVlaue,sizeof(iValue));

(3)调整内存块的大小:PVOID HeapReAlloc(hHeap,fdwFlags,pvMem,dwBytes)

参数

含义

HANDLE hHeap

需要调整大小的内存块所在的

DWORD fdwFlags

HEAP_GENERATE_EXCEPTIONS、HEAP_NO_SERIALIZE

HEAP_ZERO_MEMORY:增大内存块是,额外的字节清0

HEAP_REALLOC_IN_PLACE_ONLY:增大内存块时,不会移动内存块。(这对于链表或树来说,有时很重要,因为节点可能包含指向当前节点指针,当被移到其他堆的其他地方时会破坏链表或树的完整性。

PVOID pvMem

要调整大小的内存块的当前地址

SIZE_T dwBytes

新的内存块的大小

返回值

返回新创建新的内存块的地址或NULL。

备注:如果不需要移动内存块的前提下增大内存块或把内存块减小时,函数会返回原来内存块的地址。如果必须移动内存块,函数会返回一个新的地址。

(4)获得内存块的大小:SIZE_T HeapSize(hHeap,fdwFlags,pvMem);//其中hHeap用来标识堆,参数pvMem表示内存块的地址。fdwFlags为0或HEAP_NO_SERIALIZE。

(5)释放内存块:BOOL HeapFree(hHeap,fdwFlags,pvMem);//各参数与HeapSize含义一样。这个函数可能会使堆管理器撤销一些己经调拨的物理存储器,但这并不是一定的。

(6)销毁堆:BOOL HeapDestroy(hHeap);

  ①该函数会释放堆中所有的内存块,同时回收占用的物理存储器和地址空间。

  ②进程的默认堆在进程结束时会自动销毁,如果手动调用来销毁则函数的调用会被忽略并返回FALSE

  ③其他私有堆在不用时,可以手动调用该函数来销毁。如果没有被销毁,在进程结束以后系统会替我们销毁。

【Heap程序】演示如何使用堆

#include <tchar.h>
#include <windows.h>
#include <time.h>
#include <stdio.h>

void PrintArray(float fArray[], int iCnt){
    for (int i = 0; i < iCnt;i++){
        printf("[%03d]=%0.0f\t",i,fArray[i] );
    }
}

int _tmain(){
    srand((unsigned int)time(NULL));

    //在进程默认堆中申请内存
    HANDLE hHeap = GetProcessHeap();
    const int iCnt = 200;

    //申请fArray内存块
    float* fArray = (float*)HeapAlloc(hHeap, HEAP_ZERO_MEMORY, iCnt*sizeof(float));

    for (int i = 0; i < iCnt;i++){
        fArray[i] = 1.0f*rand();
    }
    //扩大fArray内存块的大小
    fArray = (float*)HeapReAlloc(hHeap, HEAP_ZERO_MEMORY, fArray, 2 * iCnt*sizeof(float));
    for (int i = iCnt; i < 2 * iCnt;i++){
        fArray[i] = 1.0f*rand();
    }
    //打印内存块(数组)的内容
    printf("Default Heap:\n");
    PrintArray(fArray, 2 * iCnt);

    HeapFree(hHeap, 0, fArray);//释放内存块

    //创建私有堆
    hHeap = HeapCreate(HEAP_GENERATE_EXCEPTIONS, 0, 0);
    
    //申请内存块
    fArray = (float*)HeapAlloc(hHeap, HEAP_ZERO_MEMORY, iCnt*sizeof(float));
    for (int i = 0; i < iCnt;i++){
        fArray[i] = 1.0f*rand();
    }
    
    //扩大fArray内存块的大小
    fArray = (float*)HeapReAlloc(hHeap, HEAP_ZERO_MEMORY, fArray, 2 * iCnt*sizeof(float));
    for (int i = iCnt; i < 2 * iCnt; i++){
        fArray[i] = 1.0f*rand();
    }

    //打印内存块(数组)的内容
    printf("Additional Heap:\n");
    PrintArray(fArray, 2 * iCnt);

    HeapFree(hHeap,0,fArray);
    HeapDestroy(hHeap);  //私有堆,要手动销毁

    return 0;

}

【CSomeClass程序】在C++中使用堆

 

#include <windows.h>
#include <stdio.h>

/*/////////////////////////////////////////////////////////////////////////
演示如何利用C++来使用的创建和销毁
//主要功能:
1、让同一个类的实例在同一个堆中分配空间
2、当使用计数s_uNumAllocsInHeap为0时,会自动销毁堆

//可能的问题
1、当考虑继承时,如果新类继承了new和delete操作符,则派生类也会从同一个堆中
   分配内存。这种情况有时是我们希望的,但也可能不是我们希望的,因为对象的大
   小可能相差非常大,那就可能在堆中造成严重的碎片
2、如果想在派生类中使用一个单独的堆,就可以在派生类中增加一组s_hHeap和
   s_uNumAllocsInHeap变量,同时把new和delete操作符的代码复制过去。这样就不会调用
   基类的操作符了。
/////////////////////////////////////////////////////////////////////////*/
class CSomeClass{
private:
    static HANDLE s_hHeap; //保存堆句柄,让同一个类的实例在同一个堆中分配空间
    static UINT s_uNumAllocsInHeap;//计数器,用来记录从堆中分配了多少个
                                   //CSomeClass对象,用来控制销毁堆
    //...其他私有变量和成员函数
    int iTest; //用于测试目的
public:
    void* operator new(size_t size); //重载new操作符
    void  operator delete(void* p);  //重载delete操作符

    //...其他的全局变量和函数
    //以下函数用于测试目的
    int GetTestValue(){ return iTest; }
    void SetTestValue(const int iValue){ iTest = iValue; }
    int GetCount(){ return s_uNumAllocsInHeap; }
};

HANDLE CSomeClass::s_hHeap = NULL; //静态变量初始化
UINT CSomeClass::s_uNumAllocsInHeap = 0;

//new操作符中的size编译器会帮我们传入,等于sizeof(CSomeClass)
void*  CSomeClass::operator new(size_t size){
    if (s_hHeap == NULL){
        //如果堆不存在,则创建
        //1、HEAP_NO_SERIALIZE表示这个类不支持多线程的
        //2、第2个参数为0,而不传入size。因为在这个堆中
        //   可能会创建多个类的对象和一些额外的空间。
        s_hHeap = HeapCreate(HEAP_NO_SERIALIZE, 0, 0);
        if (s_hHeap == NULL)
            return NULL;
    }

    //如果堆己经存在,则为对象分配空间大小
    void* p = HeapAlloc(s_hHeap, 0, size);

    if (p != NULL){
        s_uNumAllocsInHeap++; //计数加1    
    }

    return p;
}

void CSomeClass::operator delete(void* p){
    if (HeapFree(s_hHeap,0,p)){
        s_uNumAllocsInHeap--; //删除对象成功
    }

    if (s_uNumAllocsInHeap == 0){
        //堆中己经没有类的对象了
        if (HeapDestroy(s_hHeap)){
            s_hHeap = NULL; //设为NULL,下次再创建对象时会
                            //重新创建一个堆
        }
    }
}

int main(){    
    //编译器编译下面一行代码时,会检查到CSomeClass重载了new操作符
    //就会生成代码来调用这个成员函数,所以会执行函数里堆的创建等
    //操作,如果没有重载new,编译器将生成代码来调用C++标准的new操作符
    CSomeClass* pSome = new CSomeClass;
    
    pSome->SetTestValue(100);
    printf("在堆中分配了%d类实例对象\n", pSome->GetCount());
    printf("sizeof(CSomeClass)=%d,iTest = %d\n", sizeof(CSomeClass),pSome->GetTestValue());
   
    delete pSome;
    return 0;
}

18.4 其他堆函数

(1)获取进程中所有的堆(含默认堆):GetProcessHeaps

  ①函数原型:DWORD GetProcessHeaps(dwNumHeaps,phHeaps);

  ②参数说明:dwHeaps要获得的堆数目,phHeaps数组用来接收返回的堆句柄。可用两个调用方法得到堆的数目,第1次dwCount = GetProcessHeaps(0, NULL);其中的dwCount就是进程中堆的数量。

(2)验证堆的完整性:HeapValidate函数

  ①函数原型:BOOL HeapValidate(hHeap,fdwFlags,pvMem)

  ②参数说明:fdwFlags只能传入0或HEAP_NO_SERIALIZE。如果pvMem指定为NULL,则函数会遍历堆中各个内存块,只有要一个内存块被破坏,就会返回FALSE。如果pvMem指定一个内存块的地址,则只检查这个内存块。

(3)合并闲置的内存块:(会同时撤销调拨给这些内存块的物理存储器):HeapCompact

  ①函数原型:UINT HeapCompact(hHeap,fdwFlags);

  ②参数说明:fdwFlags只能传0或HEAP_NO_SERIALIZE标志。

(4)锁定和解锁堆:HeapLock\HeapUnlock

  ①这两个函数用于线程同步,必须配对使用。

  ②HeapLock锁定堆时,其他线程调用堆函数(并且操作同一个堆)时将被系统挂起。HeapUnlock唤醒这些线程。

  ③为了确保对堆的访问是依次进行的,HeapAlloc、HeapSize、HeapFree这些函数的内部调用了HeapLock和HeapUnlock。所以我们不需要自己去调用HeapLock和HeapUnlock。

(5)遍历堆:HeapWalk(hHeap,pHeapEntry);

 

  ①遍历时,需多次调用这个函数,而且调用时必须分配并初始化一个PROCESS_HEAP_ENTRY结构(如上图所示),并将地址传给HeapWalk。

  ②开始枚举堆的内存块时,必须把该结构体的lpData成员设为NULL,这向HeapWalk表明要初始化结构体中的成员。

  ③每次成功调用heapWalk之后,可以查看结构成员来了解内存块的情况。

  ④要得到下一个内存块,必须再次调用HeapWalk,并传入和一上次调用时相同的堆句柄和PROCESS_HEAP_ENTRY结构体的地址。

  ⑤当HeapWalk返回FALSE时,表示堆中己经没有更多的内存块了。

  ⑥可以在HeapWalk循环的外部调用HeapLock和HeapUnlock函数,这个在遍历堆的时候,其他线程便无法操作这个堆。

 【HeapWalk程序】遍历进程中所有的堆,并显示堆中的内存分配信息

#include <tchar.h>
#include <windows.h>
#include <time.h>
#include <locale.h>

int _tmain(){
    _tsetlocale(LC_ALL, _T("chs"));

    srand((unsigned int)time(NULL));
    const int iCnt = 100;
    HANDLE hHeap = GetProcessHeap();
    void* pMem[iCnt];
    ZeroMemory(pMem, iCnt* sizeof(void*));

    //分配100个内存块,大小随机
    for (int i = 0; i < iCnt;i++){
        pMem[i] = HeapAlloc(hHeap, 0, 50/*rand() % iCnt*/);
    }

    PROCESS_HEAP_ENTRY phe = {};
    HeapLock(hHeap); //锁定堆

    int iBlock = 0;
    //遍历进程默认堆
    while (HeapWalk(hHeap,&phe)){
        ++iBlock;
    }
    HeapUnlock(hHeap);//释放堆

    _tprintf(_T("进程默认堆中共有%d个内存块\n"),iBlock);
    //for (int i = 0; i < iCnt;i++){
    //    HeapValidate(hHeap, 0, pMem[i]);
    //
    //    _tprintf(_T("pMem[%d]=0x%08X is %s BlockSize=%d Bytes\n"), i, pMem[i], 
    //                HeapValidate(hHeap, 0, pMem[i])? TEXT("Valid"):TEXT("InValid"),
    //                HeapSize(hHeap, 0, pMem[i]));
    //    HeapFree(hHeap, 0, pMem[i]);
    //}

    //下面的代码演示如何遍历一个进程中的所有的堆
    DWORD dwHeapCnt = 0;
    PHANDLE pHArray = NULL;
    dwHeapCnt = GetProcessHeaps(0, NULL);
    if (dwHeapCnt>0){
        pHArray = (PHANDLE)HeapAlloc(GetProcessHeap(), 0, dwHeapCnt*sizeof(HANDLE));
        GetProcessHeaps(dwHeapCnt, pHArray);
        for (DWORD i = 0; i < dwHeapCnt;i++){
            HeapLock(pHArray[i]);
            iBlock = 0;
            ZeroMemory(&phe, sizeof(PROCESS_HEAP_ENTRY));
            _tprintf(_T("堆[%p]中的内存分配情况:\n"), pHArray[i]);
            while (HeapWalk(pHArray[i],&phe)){
                ++iBlock;
                
                _tprintf(_T("\t块[%p]的信息,这里省略...\n"),phe.lpData);
                //显示块信息,这里省略。。。
                //DisplayHeapInfo(phe); //每个内存块的信息放在phe的结构体中
            }
            _tprintf(_T("堆[%p]中共有%d个内存块\n\n"),pHArray[i],iBlock);
            HeapUnlock(pHArray[i]);
        }
        HeapFree(GetProcessHeap(), 0, pHArray);
    }
    _tprintf(_T("本进程中共有%d个堆\n\n"), dwHeapCnt);
    return 0;
}