叫我安不理

.NET Core内存结构体系(Windows环境)底层原理浅谈

物理内存与虚拟内存

  1. 物理内存(Physical Memory)
    定义:物理内存是计算机硬件中的实际RAM(如DDR5内存条),直接通过总线与CPU连接,用于临时存储运行中的程序和数据。
  2. 虚拟内存(Virtual Memory)
    定义:由操作系统管理的抽象内存层,通过结合物理内存和磁盘空间(如页面文件或交换分区),为程序提供连续且独立的内存空间。

用户只需要与虚拟内存地址打交道,而无需关心数据到底分配在哪里

image

眼见为实

image

物理页4K对齐

在Windows系统下,以4K为最小粒度,这个单位叫做物理页,并以4K的整数倍分配内存。比如申请1k分配4k,申请5k分配8k

眼见为实

void page4k() {

	for (int i = 0; i < 200; i++) {
		//1k 的占用
		LPVOID ptr = VirtualAlloc(NULL, 1024 * 1, MEM_RESERVE | MEM_COMMIT, PAGE_READWRITE);
		printf("i=%d, 1k, address:%#0.8x \n", i + 1, ptr);
	}

	for (int i = 200; i < 400; i++) {
		//5k 的占用
		LPVOID ptr = VirtualAlloc(NULL, 1024 * 5, MEM_RESERVE | MEM_COMMIT, PAGE_READWRITE);

		printf("i=%d, 5k, address:%#0.8x \n", i + 1, ptr);
	}

	getchar();
}

申请1k分配4k
image

申请5k分配8k
image

物理内存与虚拟内存如何映射?

Windows系统采用二叉树结构(5层)来实现高效映射。

举个例子,某个32bit的内存地址为:0x77b01a42,其二进制为:01110,11110,11000,00001,101001000010
image
image

  1. 前20位用来构建页表树,实现物理页的的高效映射
  2. 后12位映射物理页的偏移量

操作系统以4K为一个单位对内存进行分组,4G内存=102410241024*4/(4/1024)=1048576物理页,如此庞大的物理页,,采用5层二叉树来提高索引效率

眼见为实:以notepad为例

任务管理:
image
Windbg:
image

可以看到非常明显的不同,任务管理器显示占用44.6mb内存,而windbg显示占用489.531mb内存,这是为什么呢?
答:显示逻辑不同,任务管理器显示的是Private WorkingSet,指的是物理内存的地址,即内存条上的内存,而Windbg是显示映射到的物理页,Commit指的是虚拟内存地址,这包括内存条上的内存,pagefile,image三种

眼见为实:可视化观察 虚拟地址=>物理地址

使用windbg进入内核态,这很重要,大家可以猜猜原因。

随便找一个字符串的内存地址
image

  1. 使用dp观察虚拟地址
  2. 使用!vtop 观察映射信息
  3. 使用!db观察物理地址

虚拟地址布局

image

眼见为实:空指针区与用户态区

image

windows/linux在默认情况下,会开启ASLR,需要关闭此技术才能复现。
ASLR 是一种针对缓冲区溢出攻击等内存攻击技术而设计的安全特性。在没有 ASLR 的情况下,程序加载到内存中的位置通常是固定的,攻击者可以预测程序中各种模块(如可执行文件、动态链接库等)的加载地址,进而利用这些固定地址来构造恶意代码进行攻击,比如在缓冲区溢出攻击中精准定位跳转地址来执行恶意指令。
而启用 ASLR 后,操作系统在每次启动程序时会随机化程序的内存布局,包括可执行文件、动态链接库、堆、栈等的加载地址,使得攻击者难以准确预测内存地址,大大增加了攻击的难度。

Reserved与Commit

  1. Reserved
    在虚拟地址上申请一段内存空间,此时操作系统也会同步创建页表树,但此时并未映射到物理内存,此时对该虚拟内存的读写会抛异常
  2. Commit
    页表树调配真实的物理内存,此时才能正常写入

眼见为实:Reserved

void  mem_reserved() {

	LPVOID ptr = VirtualAlloc(NULL, 4 * 1024, MEM_RESERVE, PAGE_READWRITE);

	*(int*)(ptr) = 10;  //在首地址上写入内容。
	
	printf("num=%d", *(int*)ptr);
}

image

眼见为实:Commit

void  mem_commit() {

	LPVOID ptr = VirtualAlloc(NULL, 4 * 1024, MEM_RESERVE | MEM_COMMIT, PAGE_READWRITE);

	*(int*)(ptr) = 10;  //在首地址上写入内容。
	
	printf("num=%d", *(int*)ptr);
}

image

NT堆

NT堆是 Windows NT 内核引入的内存管理组件,主要负责进程内的堆内存分配与释放。在 Windows 系统里,进程可以使用 NT 堆来动态分配和管理内存,比如程序中使用 malloc()(C 语言)、new(C++) 等函数进行内存分配时,底层通常就依赖 NT 堆机制。

上面说到,VirtualAlloc方法它会一次性分配 64k 整数倍的内存段,内部对象按4k的内存页对齐.
如果让application直接操作VirtualAlloc,难免会造成大量的内存浪费。为了提高内存性能与使用效率,Windows又提供了一层抽象,以提供更细颗粒度的内存管理。它的名字叫做NT堆

  1. 在32bit平台上:8byte为一个分配粒度
  2. 在64bit平台上:16btye为一个分配粒度

image

  1. CRT堆:C运行时使用的堆,默认是对NT堆的简单封装
  2. 托管堆:用作特殊用途的,自行实现的一套内存池管理机制。比如GC堆

从图中可以看出,使用NT与否取决于程序员本身。完全可以绕过NT堆,直接使用VirtualAlloc来分配内存,只要你接收内存浪费。
NT堆非常重要,作为非托管堆,与.NET 托管堆交互得异常频繁。因此,当出现非托管堆内存泄漏 时。90%的情况下,都是NT堆的问题。

眼见为实

GC堆,底层使用VirtualAlloc分配内存

点击查看代码
        static void Main(string[] args)
        {
            var rand = new Random();

            List<string> list = new List<string>();

            for (int i = 0; i < 100000; i++)
            {
                var str = string.Join(",", Enumerable.Range(0, rand.Next(1, 1000)));

                list.Add(str);

                Console.WriteLine($"i={i},length={str.Length}");
            }

            Console.ReadLine();
        }

在bp KERNELBASE!VirtualAlloc 下断点

image

CRT堆/NT堆,底层使用VirtualAlloc分配内存

点击查看代码
#include <iostream>
#include <Windows.h>

void crt_c() {

	for (int i = 0; i < 10000000; i++) {

		int* ptr = (int*)malloc(sizeof(int) * 1000);
		*(ptr) = 10;

		printf("第 %d 次分配 \n", i);
	}
}

在 bp ntdll!NtAllocateVirtualMemory 下断点

image

NT多堆结构

Windows NT堆可以拥有多个堆,默认情况下,每个进程会有一个默认堆。此外,进程还可以根据需要创建额外的堆。
按照类型可以分为以下两种:

  1. 进程堆
    每一个进程创建时,Windows加载器都会给进程附加一个默认的NT堆(ProcessHeap),主要是承载依赖的DLL与系统库,例如,一些图形处理库在初始化时可能需要分配内存来存储图像数据或缓存计算结果,这些内存分配操作通常会通过默认 NT 堆来完成。
    进程自身的一些内部数据结构也依赖于默认 NT 堆进行内存分配。这些数据结构用于管理进程的状态、线程信息、文件句柄
  2. 私有堆
    如果你的项目自身也有特殊需求,也可以创建私有的NT堆,做到专用。

眼见为实

点击查看代码
#include <iostream>
#include <Windows.h>

int main()
{
	//process heap
	HANDLE handle1 = GetProcessHeap();
	printf("process heap => handle= %#0.8x \n", handle1);

	//private heap
	HANDLE handle2 = HeapCreate(0, 1024 * 10, 0);
	printf("private heap => handle= %#0.8x \n", handle2);

	getchar();
}

image

image

NT堆内存结构

NT堆与GC堆类似,有N个Segment组成,Segment内部由Entry组成
image

HEAP 开头有一块大小为 0x4a8 的 HEAP_ENTRY 堆块,用来存放 _HEAP 结构的元数据信息

眼见为实

image

posted on 2025-02-11 17:40  叫我安不理  阅读(201)  评论(1编辑  收藏  举报

相关博文:
阅读排行:
· 拒绝繁忙!免费使用 deepseek-r1:671B 参数满血模型
· 本地搭建DeepSeek和知识库 Dify做智能体Agent(推荐)
· DeepSeek-R1本地部署如何选择适合你的版本?看这里
· DeepSeek本地化部署超简单,比装个office还简单
· 基于deepseek模型知识库,Cherry Studio和AnythingLLM使用效果对比
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示