clq

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

http://bbs.51cto.com/thread-464670-1.html

 

如何在32位程序中突破地址空间限制使用超过4G的内存

众 所周知,所有的32位应用程序都有4GB的进程地址空间,因为32位地址最多可以映射4GB的内存(对于虚拟地址空间概念不太熟悉的朋友建议去看一下 《Windows核心编程》这本书)。对于Microsoft Windows操作系统,应用程序可以访问2GB的进程地址空间(32位Linux可以访问3GB地址空间),这就是称为用户模式的虚拟地址空间。这 2GB的用户模式虚拟地址空间位于4GB地址空间的低一半,而与之相对应的高一半2GB地址空间由操作系统内核使用,因此被成为内核模式的虚拟地址空间。 在一个进程中,所有的线程读共享相同的2GB用户模式虚拟地址空间。
    对于一般的应用程序来说,2GB的地址空间是足够使用的了,但是对于一些特殊的需要使用海量内存的应用程序(典型的例子是数据库系统)来说,2GB的地址 空间就远远不够了。为了缓解地址空间的不足,微软提供了一个权宜的解决方案,所有从Windows 2000 Server开始的操作系统版本都提供了一个boot.ini启动开关(/3GB),可以为应用程序提供访问3GB的进程地址空间的能力,从而将内核模式 的地址空间限定为1GB。以下就是一个开启了3GB选项的boot.ini文件示例:# _" [' N- R: }5 K( c; {; P
7 A( Y# n4 p: T( P( t
[boot loader]
timeout=30  a( S) \! U% ]; a/ l
default=multi(0)disk(0)rdisk(0)partition(1)WINDOWS1 A  G8 }; Q) G) G% }$ L
[operating systems]
multi(0)disk(0)rdisk(0)partition(1)WINDOWS="Windows Server 2003, Enterprise" /fastdetect  /3GB
   虽然使用/3GB选项能够将用户模式的地址空间扩大50%(从2GB增加到3GB),但是对于数据库系统这样的应用程序来说,这1GB的地址空间的增加 只能是杯水车薪,并不能解决多少问题,而且由于操作系统内核只能使用1GB地址空间,这样可能会给操作系统的运行带来一定的负面影响,因此除非没有更好的 解决方案,是不建议使用/3GB方式的。
/ l# k( S% W" N
* u9 T' g) g( Y0 j0 O9 _1 j0 Q! c
   鉴于像数据库系统这样的应用程序对海量内存的需求,Intel公司也觉得4GB的内存不够用,因此就将CPU芯片中内存地址线由32根扩展到了36根 (即最多64GB),这就是所谓的物理地址扩展(PAE:Physical Address Extension)。PAE使得操作系统或应用程序能够最多使用64GB的物理内存,对于Windows系统(2000以上)来说,只需在 boot.ini文件中使用/PAE选项即可(类似于上面的/3GB选项)。需要提醒大家的是,如果没有在boot.ini文件中使用/PAE选项,那么 即使计算机已经配置了超过4GB的物理内存,在Windows操作系统中也不能使用超过4GB的那些内存(事实上,根据我的经验,如果没有使用/PAE选 项,Windows系统最多只能识别3.25GB的物理内存,我也不清楚为什么不是4GB?如果有知道的,请告诉我一声)。
    虽然PAE使得在应用程序中使用超过4GB的物理内存成为可能,但是由于32位应用程序的虚拟地址空间并不随着物理内存的增大而有任何变化,这意味着你不 可能使用类似VirtualAlloc( GetCurrentProcess,2GB,...,...)这样的函数=调直接分配接近用户模式地址空间大小的内存区域。为了突破32位地址空间的限 制,需要使用一种被成为地址窗口扩展(AWE:Address Windowing Extensions)的机制(参见上图)。
    AWE是Windows的内存管理功能的一组扩展,它使应用程序能够使用的内存量超过通过标准32位寻址可使用的2~3GB内存。AWE允许应用程序获取 物理内存,然后将非分页内存的视图动态映射到32位地址空间。虽然32位地址空间限制为4GB,但是非分页内存却可以远远大于4GB。这使需要大量内存的 应用程序(如大型数据库系统)能使用的内存量远远大于32位地址空间所支持的内存量。
    在使用AWE机制时,需要注意以下几点:
    (1)AWE允许在32位体系结构上分配超过4GB的物理内存,只有当系统可用物理内存大于用户模式的虚拟地址空间时,才应该使用AWE。1 g6 l- I; A3 Z0 b7 }$ S2 M
    (2)若要使32位操作系统支持4GB以上的物理内存,必须在Boot.ini文件启用/PAE选项。
    (3)若在Boot.ini文件中启用了/3GB选项,则操作系统最多能够使用16GB的物理内存,因此如果实际的物理内存超过16GB,必须确保不使用/3GB选项。
    (4)使用AWE分配的内存是非分页的物理内存,这意味着这部分内存只能由分配的应用程序独占使用,不能由操作系统或其他程序使用,直到这些内存被释放为止,这与通常的VirtualAlloc函数分配的虚拟内存存在显著的不同,它不会参与分页替换。5 ]# f) C, _5 O$ H8 Z
    在Windows中,跟AWE相关的API函数有以下几个:- K$ H1 R0 \& p, u

BOOL AllocateUserPhysicalPages(
  HANDLE hProcess,
  PULONG_PTR NumberOfPages,
  PULONG_PTR UserPfnArray# r$ H, m& ]0 i8 L% d! d
);
$ L4 P% }4 J* a; D! b% Z& H) b
BOOL WINAPI AllocateUserPhysicalPagesNuma(9 I' |& @) T' i. u
  HANDLE hProcess,
  PULONG_PTR NumberOfPages,+ i5 O' K, S* ?) _0 D- s
  PULONG_PTR PageArray,
  DWORD nndPreferred$ x! @- `5 K' R) g, X" g
);

BOOL MapUserPhysicalPages(8 W; `# N/ `8 n8 T# P# D
  PVOID lpAddress,
  ULONG_PTR NumberOfPages,, D9 o" V+ d! O/ Q) r1 q7 y
  PULONG_PTR UserPfnArray" ~+ ?8 _" l$ f6 R) h  J. e6 ~
);; S' e- f: h, |# J
* r2 f6 X2 b7 D) \9 w
BOOL MapUserPhysicalPagesScatter(( O+ V; ?7 k7 o" A9 N/ W
  PVOID* VirtualAddresses,) `$ C/ c' R3 S! i( a. |
  ULONG_PTR NumberOfPages,
  PULONG_PTR PageArray
);

BOOL FreeUserPhysicalPages(
  HANDLE hProcess,
  PULONG_PTR NumberOfPages,
  PULONG_PTR UserPfnArray
);
$ o* P# _! g0 c, r& t8 v2 S
    各个函数的具体参数含义可以参考MSDN,其中AllocateUserPhysicalPagesNuma是Windows Vista和Windows 2008 Server新增的函数,用于支持NUMA(非一致性内存访问)。以下就简单说一下如何使用这几个API函数来达到使用超过4GB的内存。! j) S/ I% S" |) L- U/ [3 a; |* i
    使用AllocateUserPhysicalPages函数分配需要的物理内存,使用方式如下:6 y( z9 D6 l4 {$ {
# f3 g' l+ u" L( b& n/ t
ULONG_PTR NumberOfPages = xxx; // 需要分配的内存页数% J% _( e  C' C7 Q, ~
ULONG_PTR *aPFNs               = new ULONG_PTR[NumberOfPages];
BOOL bResult                            = AllocateUserPhysicalPages( GetCurrentProcess(),&NumberOfPages,aPFNs);, C  k+ S: v1 S6 E1 M
* u. _# d. z1 Y, p, q) m: R
// 检查分配内存是否成功* c8 N) T+ p. }( y1 F% O3 a7 S
if(!bResult)
{4 n6 z" ?$ Y4 F* Z- s1 s
   // 分配识别,错误处理
   // .....
}

// 检查实际分配的内存页数
if( NumberOfPages != xxx )/ x  b7 Y0 k5 ~5 [+ P: K+ i- p
{% h! k) k4 ]  m
     // ....
}
    需要注意的是,调用上述代码的用户必须具有“Lock Pages in Memory”(内存中锁定页面)的权限。此权限使得用户可以使用进程将数据保持在物理内存中,这样可防止系统将数据分页到磁盘上的虚拟内存中。行使此权 限会因降低可用随机存取内存(RAM)的数量而显著影响系统性能。需要在本地安全策略管理程序中给用户赋予该权限,如下图所示:
    ! F) s5 W' ^) W: T' G0 s& X
    给用户分配了上述权限之后,需要在程序中使用代码启用该权限,如下所示:7 k. f, p! M5 W$ H: w
$ ]: t% z: N" n) k6 J$ D6 K7 E: y
// 设置锁住物理内存的权限,此代码在调用AllocateUserPhysicalPages之前执行  X) |2 ~, o! A+ z+ I
if( !AWESetLockPagesPrivilege( GetCurrentProcess(), TRUE) )3 |3 l6 L+ y. q& n2 U/ \( b+ K
{1 c& O) I( b0 w& Y6 L: k' s
    // 输出错误信息: ~/ U: D1 v( D5 J1 s0 A
    ..........
}$ j2 K( V* `6 N, t% x! A

///  
///        设置或清除启用AWE( Address Windowing Extensions )所需要的锁住内存的权限。8 N6 k! J  m( s" E4 P
///  
/// 1 Q  ^0 Y2 q, z! W: \
///        进程句柄。
/// 2 q+ X8 F3 N/ w3 G
/// 9 t; n5 L( Y1 m) I3 j
///        设置或者清除标志。
///   U( S- g0 s! }' v2 d
/// ( j, ^. s# m, Y9 t4 H$ `! e9 Y8 p4 |
///        如果成功,则返回TRUE,否则返回失败。
/// , E  p- @7 l! K/ t4 j6 h/ ^4 J
BOOL AWESetLockPagesPrivilege( HANDLE hProcess, BOOL Enable )
{
    HANDLE                Token    = NULL;2 K& N$ j" [$ X) |: F
    BOOL                Result    = FALSE;& i/ k9 v5 n) I6 ]6 D* y9 C( k
    TOKEN_PRIVILEGES    Info    = { 0 };: t( Q( \" l& T. a5 E  L: m5 G5 v# c
4 m5 X- d/ X' j# E
    // 打开令牌; q9 y! h7 {( k! e
    Result = OpenProcessToken ( hProcess, TOKEN_ADJUST_PRIVILEGES, &Token );& ^. O9 p8 h+ ^4 O4 e
    if( !Result )
        return FALSE;6 Y3 Q# H+ n  t  o& m; N! N
( `' j- W. V# r
    // 设置权限信息: g+ i2 b- r1 @. p* X/ i  u% U% {
    Info.PrivilegeCount = 1;
    Info.Privileges[0].Attributes = Enable? SE_PRIVILEGE_ENABLED : 0;$ ?3 ]  P- e' j/ u2 g& k$ V

    // 获得锁定内存权限的ID
    Result = LookupPrivilegeValue ( NULL,SE_LOCK_MEMORY_NAME,&(Info.Privileges[0].Luid));3 r7 S/ ?: A* J; t1 |+ w; H. P  a; J
    if( !Result )   k- T1 n% i3 G$ `, j$ g( Q& W9 `
    {
        CloseHandle( Token );
        return FALSE;
    }
, s, I- \. z# y5 W6 a# a
    // 调整权限6 A% }0 c' O! l
    Result = AdjustTokenPrivileges ( Token, FALSE,(PTOKEN_PRIVILEGES) &Info,0, NULL, NULL);
    if( ( !Result )  || (  GetLastError() != ERROR_SUCCESS ) )
    {9 P6 Y5 t( Q- p& s& ^+ c
        CloseHandle( Token );- _! B; L+ {$ ]
        return FALSE;
    }! c  v( ]1 K. H& F: g8 h0 u$ S; Q
1 @' j' ?( ]5 c' K8 u6 o5 ^
    // 成功返回% @! W; p  l  S% F" o5 i
    CloseHandle( Token );
    return TRUE;
}( W" l' N8 R8 r5 [# w6 h. J

    使用AllocateUserPhysicalPages分配了物理内存之后,下一步就是使用MapUserPhysicalPages或 MapUserPhysicalPagesScatter函数将物理内存映射进用户模式地址空间内,这两个函数用法差不多,只是第一个参数有差别。由于分 配的物理内存的大小超过了用户模式地址空间的大小,因此显然不可能一次将所有的物理内存都映射到地址空间中。通常的做法是在用户模式地址空间内分配一小块 连续的区域(即地址窗口),然后根据使用的需要动态将部分的物理内存映射到地址空间,这也就是“地址窗口扩展”一词的真实含义。代码示例如下:6 D, D6 m4 c; u7 h8 H

// 定义16M的地址窗口' d; R  T8 C" F3 Q% O& O, u+ Q( J; m
#define MEMORY_REQUESTED (16*1024*1024)
; O% [! M# F% q
// 分配地址窗口
PVOID lpMemReserved = VirtualAlloc( NULL,MEMORY_REQUESTED, MEM_RESERVE | MEM_PHYSICAL,PAGE_READWRITE );# K, d' ?# V8 d+ ]) ]' Y

// 将物理内存映射到地址空间(根据需要,每次映射的页面会不同,
// 即下面函数的第三个参数aPFNs会指向不同的物理页)
bResult = MapUserPhysicalPages( lpMemReserved,NumberOfPages,aPFNs);5 }8 I) R' }/ I( T% T. E8 d& I

// 以下就像普通的内存一样使用lpMemReserved 指针来操作物理内存了
...................
    使用完了之后,可以使用FreeUserPhysicalPages来释放分配的物理内存,示例如下:

// 取消内存映射
bResult = MapUserPhysicalPages( lpMemReserved,NumberOfPages,NULL );
; L# `% k& r- H- \/ k& a
// 释放物理内存
bResult = FreeUserPhysicalPages( GetCurrentProcess(),&NumberOfPages,aPFNs );8 h8 z. I; N7 T# f- H3 g5 s3 {! h) i+ y

// 释放地址窗口
bResult = VirtualFree( lpMemReserved,0,MEM_RELEASE );' \& |" X  k" ]9 m3 c$ }

// 释放物理页号数组
delete[] aPFNs;
    AWE机制被使用最多的一个场合是数据库系统的缓存管理器(BufferManager),例如SQL Server的内存管理器。虽然以上代码都是基于Windows操作系统,但是PAE和AWE机制并不是Windows特有的,32位Linux也有类似 的API。完整使用AWE机制的例子,大家可以参考MySQL的源码。
    最后想说的是,对于开发人员来说,一个好消息是64位CPU和操作系统正越来越普及。在64位环境下,一个进程的用户模式的地址空间可达8TB(也就是说 目前很多的64位系统只使用了40几位的内存地址,远没有充分使用64位的内存地址),在可以预见的未来很长一段时间,估计我们都不会再为地址空间不足而 发愁了,让我们一起为64位时代的到来而欢呼吧!
posted on 2012-02-07 11:39  clq  阅读(1041)  评论(3编辑  收藏  举报