linux指针内存地址与64位虚拟内存上限
内存地址在0x7ff16473d000,相当于140,674,749,157,376(127T965GB(131013GB)处开始,47位最大是128TB,131072GB),如下,也就是在用户空间(0~0x7FFF FFFF FFFF,128GB)快顶部(差59GB)的位置。
因为48bit空间也要满足“两头顶格”的习惯,整个可用地址范围变成了0~0x7FFF FFFF FFFF和0x8000 0000 0000~0xFFFF FFFF FFFF两个不连续的地址空间上的的几个更加离散的小岛。以首位区分或者理解为正负符号,Linux Kernel使用“1”作为系统地址空间,使用“0”作为用户地址空间(小于47bit可分配给用户空间)。
虽然段从低到高分配,栈从高到低分配,本质上都是一样的,就像数组从头分配还是从尾分配,存储上都是从前往后,从效率角度思考的优化结论,所以指针操作都是++为主。
上右图共享内存段中还包含了动态链接库。其二,有些地方写着共享内存段是从下往上、有些是从上往下(如上右图,实际也是如此,见下文pg共享内存段分配),但肯定有个基址(如上mmap_base),从实际角度来看,从上往下更合适,为什么?因为栈空间通过内核最大进程数就能估计出来,堆大小估计不出来,避免堆申请越界,所以从上往下是更合适的。
对于linux程序而言,有一个非常重要的可执行文件格式ELF(Executable and Linkable Format),它是对象文件、可执行文件、库文件、core dump文件的格式。位于用户空间的底部,通常在启动时就确定并且不变。其组成部分从下到上为:
对可执行文件而言,主要有4部分:.text, .data, .rodata和.bss(未初始化的数据),readelf -S execname可以查看每部分的相对位置。data+bss+heap的大小由RLIMIT_DATA控制最大值。栈大小由RLIMIT_STACK控制。
(1)用户空间:0x0000_0000_0000_0000到0x0000_ffff_ffff_ffff,一共有256TB。一般只用128TB,所以只会到0x7fff ffff ffff。
(2)非规范区域
(3)内核空间:0xffff_0000_0000_0000到0xffff_ffff_ffff_ffff。一共有256TB。一般只用128TB。应用编程不可见。
内核空间又做了如下细分:
- vmalloc区域:0xffff_0000_0000_0000到0xffff_7bff_bfff_0000,大小为126974GB。
- vmemmap区域:0xffff_7bff_c000_0000到0xffff_7fff_c000_0000,大小为4096GB。
- PCI I/O区域:0xffff_7fff_ae00_0000到0xffff_7fff_be00_0000,大小为16MB。
- Modules区域:0xffff_7fff_c000_0000到0xffff_8000_0000_0000,大小为64MB。
- normal memory线性映射区:0xffff_8000_0000_0000到0xffff_ffff_ffff_ffff,大小为128TB。主要从这里开始。
所以更准确的64为内存划分如下:
绿色是用户区,黄色是内核态。
用户区域各部分的操作
ELF各个部分的操作通常如下:
注:上图mmap并不是那么准,仅表示在堆之上。
由于栈通常比较小,所以mmap也是往上涨的。
在linux内存监控中,通常给系统管理员可见的是free/used/buffered/cached,如下:
结合上面两张图也可知,pagecache是属于内核管理的。所以堆、栈、以及程序静态数据是主要的used部分。
mmap一般来说一定在pagecache中,但是pagecache可能不一定只有mmap实现。所以mmap映射在pagecache中,如下:
交换区也是由页表管理的。
从下可知,heap是从低到高分配,共享内存从高到低。
0x7f开头的都是共享内存块或其中的某个变量。
程序代码段、数据段映射到可执行文件的物理实现如下:
每个程序都有起始地址、各个端的offset,重定位之后就得到运行时的绝对地址了,通过readelf可以看出。如下:
虽然大多数进程不会访问同一物理内存,但是也是可以的,例如进程间通信常用的共享内存技术,使用共享内存段、mmap等情况,比如postgresql/oracle里面的多进程架构,相同进程会访问大量相同shared buffer块,所以top rss加起来比物理内存大也正常。如下:
在任何一个进程中,都完全享有自己的内存地址空间,虽然在物理上可能完全是离散的。由于64位地址足够大,基本不太可能出现虚拟内存oom的情况,只能是物理内存不足或pagecache swapout来不及。
内存子系统如何确定malloc、mmap、shm、程序启动地址内存的地址
待续。。
虚拟地址到物理地址的转换
待续
共享内存段在linux内存中的存放位置
共享内存段(包括sys v实现和poxis实现)位于栈和堆之间。
参考:https://zhuanlan.zhihu.com/p/81399122
后补:https://xie.infoq.cn/article/8f738c08e409b011e92acb03f 【精通内核】计算机程序的本质、内存组成与 ELF 格式
linux内存使用监控与管理 https://www.cnblogs.com/zhjh256/p/15424236.html