User space(用户空间) 与 Kernel space(内核空间)
学习 Linux 时，经常可以看到两个词：User space（用户空间）和 Kernel space（内核空间）。
简单说，Kernel space 是 Linux 内核的运行空间，User space 是用户程序的运行空间。为了安全，它们是隔离的，即使用户的程序崩溃了，内核也不受影响。
Kernel space 可以执行任意命令，调用系统的一切资源；User space 只能执行简单的运算，不能直接调用系统资源，必须通过系统接口（又称 system call），才能向内核发出指令。
str = "my string" // 用户空间 x = x + 2 file.write(str) // 切换到内核空间 y = x + 4 // 切换回用户空间
上面代码中，第一行和第二行都是简单的赋值运算，在 User space 执行。第三行需要写入文件，就要切换到 Kernel space，因为用户不能直接写文件，必须通过内核安排。第四行又是赋值运算，就切换回 User space。
查看 CPU 时间在 User space 与 Kernel Space 之间的分配情况，可以使用top命令。它的第三行输出就是 CPU 时间分配统计。
这一行有 8 项统计指标。
其中，第一项24.8 us（user 的缩写）就是 CPU 消耗在 User space 的时间百分比，第二项0.5 sy（system 的缩写）是消耗在 Kernel space 的时间百分比。
随便也说一下其他 6 个指标的含义。
ni：niceness 的缩写，CPU 消耗在 nice 进程（低优先级）的时间百分比id：idle 的缩写，CPU 消耗在闲置进程的时间百分比，这个值越低，表示 CPU 越忙wa：wait 的缩写，CPU 等待外部 I/O 的时间百分比，这段时间 CPU 不能干其他事，但是也没有执行运算，这个值太高就说明外部设备有问题hi：hardware interrupt 的缩写，CPU 响应硬件中断请求的时间百分比si：software interrupt 的缩写，CPU 响应软件中断请求的时间百分比st：stole time 的缩写，该项指标只对虚拟机有效，表示分配给当前虚拟机的 CPU 时间之中，被同一台物理机上的其他虚拟机偷走的时间百分比
如果想查看单个程序的耗时，一般使用time命令。
程序名之前加上time命令，会在程序执行完毕以后，默认显示三行统计。
real：程序从开始运行到结束的全部时间，这是用户能感知到的时间，包括 CPU 切换去执行其他任务的时间。user：程序在 User space 执行的时间sys：程序在 Kernel space 执行的时间
user和sys之和，一般情况下，应该小于real。但如果是多核 CPU，这两个指标反映的是所有 CPU 的总耗时，所以它们之和可能大于real。
Java文件读写原理和虚拟内存
1.内核空间和用户空间
这两个概念对于初次接触的小伙伴来说并不是很好理解，举个简单例子如下图：
上图中的储户是没法直接从金库中存钱获取取钱的，如果这么做了，那么就非法了。这里用户空间相当于储户，内核空间相当于银行职员，而硬盘相当于金库，也就是用户空间中的进程没法直接操作读写硬盘中的数据，我们需要通过内核空间来处理，这样对于这两个概念应该会容易理解些。
|
空间 |
描述 |
|---|---|
|
用户空间 |
是非特权区域，在该区域执行的代码不能直接访问硬件设备，常规进程就在本区域执行，JVM就是常规进程，所以JVM进程驻守在用户空间 |
|
内核空间 |
是操作系统所在区域，有特别的权利:能与设备控制器通讯，控制着用户区域进程的运行状态等等，最重要的是，所有I/O都直接或间接的通过内核空间 |
2.普通IO操作
了解了用户空间和内核空间的概念和作用后我们来看下普通IO的执行原理。
根据上图，当进程请求一个I/O操作，它会执行一个系统(open() , read() , writer() , close())调用将控制权移交给内核。当内核以这种方式被调用，它随即采取任何必要步骤，找到进程所需数据，并把数据传送到用户空间内指定的缓冲区中，这时常规进程就可以对缓冲区中的数据处理操作了，而内核试图对数据进行高速缓存或预读取，因此进程所需数据可能已经在内核空间里了，如果是这样，该数据只需简单地拷贝出来即可，如果数据不在内核空间，则进程被挂起，内核着手把数据读进内场。
问题
数据从内核空间拷贝到用户空间似乎多余，为什么不直接让磁盘把数据送到用户空间的缓冲区呢？
- 硬盘通常不能直接访问用户空间
- 磁盘基于块存储的硬件设备操作的固定大小的数据块，用户进程请求的可能是任意大小或者非对齐的数据块，在这两者数据交互过程中内核负责数据的分解、再组合工作，起到一个中间人的角色。
3.虚拟内存
通过上面的介绍，我们知道当应用程序需要读取文件的时候，内核首先通过DMA技术将文件内容从磁盘读入内核中的buffer，然后Java应用进程再从内核的buffer将数据读取到应用程序的buffer。也就是有两次的文件复制，为了提升I/O效率和处理能力，操作系统采用虚拟内存的机制。虚拟内存意为使用虚假（或虚拟）地址取代物理（硬件RAM）内存地址。这样做好处颇多，总结起来可分为两大类：
- 一个以上的虚拟地址可指向同一个物理内存地址。
- 虚拟内存空间可大于实际可用的硬件内存
这样做的好处是省去了内核与用户空间的往来拷贝。
3.1 一个以上的虚拟地址可指向同一个物理内存地址
在进行IO操作时就可以将用户空间的buffer区和内核空间的buffer区指向同一个物理内存。这样用户空间的程序就不需要再去内核空间再取回数据，而是可以直接访问，节省内存空间。
3.2 虚拟内存空间可大于实际可用的硬件内存
当用户程序访问内存地址时，一般的操作如下：首先虚拟内存系统会到物理内存去查找该虚拟地址是否存在。如果存在，如A1，则直接从物理内存中读取;如果不存在,如A4则会抛出一个信号。这时虚拟内存系统会去磁盘空间中找，找到后再按一定的策略，将其置入到内存中，如将B2和A4交换。然后由用户程序就可以使用A4中的数据。这样就保证了用户程序可以读取一些大型的文件。
从本质上说，物理内存充当了分页区的高速缓存；而所谓分页区，即从物理内存置换出来，转而存储于磁盘上的内存页面.
把内存页大小设定为磁盘块大小的倍数，这样内核就可直接向磁盘控制硬件发布命令，把内存页写入磁盘，在需要时再重新装入。结果是，所有磁盘 I/O 都在页层面完成。对于采用分页技术的,现代操作系统而言，这也是数据在磁盘与物理内存之间往来的唯一方式
3.3内存管理单元
现代 CPU 包含一个称为内存管理单元（MMU）的子系统，逻辑上位于CPU 与物理内存之间。该设备包含虚拟地址向物理内存地址转换时所需映射信息。当 CPU 引用某内存地址时，MMU负责确定该地址所在页（往往通过对地址值进行移位或屏蔽位操作实现），并将虚拟页号转换为物理页号（这一步由硬件完成，速度极快）。如果当前不存在与该虚拟页形成有效映射的物理内存页，MMU会向CPU 提交一个页错误。
页错误随即产生一个陷阱（类似于系统调用），把控制权移交给内核，附带导致错误的虚拟地址信息，然后内核采取步骤验证页的有效性。内核会安排页面调入操作，把缺失的页内容读回物理内存。这往往导致别的页被移出物理内存，好给新来的页让地方。在这种情况下，如果待移出的页已经被碰过了（自创建或上次页面调入以来，内容已发生改变），还必须首先执行页面调出，把页内容拷贝到磁盘上的分页区。
如果所要求的地址不是有效的虚拟内存地址（不属于正在执行的进程的任何一个内存段），则该页不能通过验证，段错误随即产生。于是，控制权转交给内核的另一部分，通常导致的结果就是进程被强令关闭。
一旦出错的页通过了验证，MMU 随即更新，建立新的虚拟到物理的映射（如有必要，中断被移出页的映射）,用户进程得以继续。造成页错误的用户进程对此不会有丝毫察觉，一切都在不知不觉中进行
用户空间_内核空间以及内存映射
内核空间和用户空间
现代操作系统采用虚拟存储器，对于32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的权限。为了保证用户进程不能直接操作内核，保证内核安全，操作系统将虚拟空间划分为两部分，一部分是内核空间，一部分是用户空间。针对Linux操作系统，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF）供内核使用，称为内核空间，而较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。每个进程都可以通过系统调用进入到内核。其中在Linux系统中，进程的用户空间是独立的，而内核空间是共有的，进程切换时，用户空间切换，内核空间不变。
有了用户空间和内核空间的划分后，整个linux内部结构可以分为三部分，从最底层到最上层依次是：硬件->内核空间->用户空间，如下图所示:
用户态和内核态
当一个进程执行系统调用而陷入内核代码中执行时，称进行处于内核运行态（内核态）。此时处理器处于特权级别最高的（0级）内核代码中执行。当进程处于内核态时，执行的内核代码会使用当前进程的内核栈。每个进程都有自己的内核栈。
当进行在执行用户自己的代码时，则称其处于用户运行态（用户态）。此时处理器在特权级最低的（3级）用户代码中运行。当正在执行用户程序而突然被中断程序中断时，此时用户程序也可象征性的称为处于进行的内核态，因为中断处理程序使用当前进程的内核栈。
逻辑地址、线性地址和物理地址
在解释高端内存和内存映射前，先复习一下什么是逻辑地址、线性地址和物理地址吧，大家要是知道的话就可以直接跳过。
逻辑地址
逻辑地址（Logical Address） 是指由程序产生的和段相关的偏移地址部分。例如，你在进行C语言指针编程中，能读取指针变量本身值(&操作)，实际上这个值就是逻辑地址，他是相对于你当前进程数据段的地址，不和绝对物理地址相干。只有在Intel实模式下，逻辑地址才和物理地址相等（因为实模式没有分段或分页机制,Cpu不进行自动地址转换）；逻辑也就是在Intel保护模式下程序执行代码段限长内的偏移地址（假定代码段、数据段如果完全相同）。应用程式员仅需和逻辑地址打交道，而分段和分页机制对你来说是完全透明的，仅由系统编程人员涉及。应用程式员虽然自己能直接操作内存，那也只能在操作系统给你分配的内存段操作。
线性地址
线性地址（Linear Address） 是逻辑地址到物理地址变换之间的中间层。程式代码会产生逻辑地址，或说是段中的偏移地址，加上相应段的基地址就生成了一个线性地址。如果启用了分页机制，那么线性地址能再经变换以产生一个物理地址。若没有启用分页机制，那么线性地址直接就是物理地址。Intel 80386的线性地址空间容量为4G（2的32次方即32根地址总线寻址）。
物理地址
物理地址（Physical Address） 是指出目前CPU外部地址总线上的寻址物理内存的地址信号，是地址变换的最终结果地址。如果启用了分页机制，那么线性地址会使用页目录和页表中的项变换成物理地址。如果没有启用分页机制，那么线性地址就直接成为物理地址了。
虚拟地址
虚拟内存（Virtual Memory）是指计算机呈现出要比实际拥有的内存大得多的内存量。因此他允许程式员编制并运行比实际系统拥有的内存大得多的程式。这使得许多大型项目也能够在具有有限内存资源的系统上实现。一个非常恰当的比喻是：你不必非常长的轨道就能让一列火车从上海开到北京。你只需要足够长的铁轨（比如说3公里）就能完成这个任务。采取的方法是把后面的铁轨即时铺到火车的前面，只要你的操作足够快并能满足需求，列车就能象在一条完整的轨道上运行。这也就是虚拟内存管理需要完成的任务。在Linux0.11内核中，给每个程式（进程）都划分了总容量为64MB的虚拟内存空间。因此程式的逻辑地址范围是0x0000000到0x4000000。有时我们也把逻辑地址称为 虚拟地址。因为和虚拟内存空间的概念类似，逻辑地址也是和实际物理内存容量无关的。逻辑地址和物理地址的“差距”是0xC0000000，是由于虚拟地址->线性地址->物理地址映射正好差这个值。这个值是由操作系统指定的。机理 逻辑地址（或称为虚拟地址）到线性地址是由CPU的段机制自动转换的。如果没有开启分页管理，则线性地址就是物理地址。如果开启了分页管理，那么系统程式需要参和线性地址到物理地址的转换过程。具体是通过设置页目录表和页表项进行的。
高端内存
高端内存的由来
在传统的Linux x86 32位系统中，内核模块的代码或者线程访问内存时，代码中的内存地址都为逻辑地址，而对应到真正的物理内存地址时，还需要地址的一一映射。如果逻辑地址位0xC0000003，那么对应的物理地址就是0x3，如果逻辑地址位0xC0000004，那么对应的物理地址就是0x4，所以物理地址和逻辑地址的关系如下：
物理地址 = 逻辑地址 – 0xC0000000
根据上面的内核地址空间的地址转换关系，注意内核的虚拟地址在“高端”，但是ta映射的物理内存地址在低端。会发现，内核模块能够访问的逻辑地址为0xC0000000-0xFFFFFFFF，对应的物理地址为0x00000000-0x40000000，总共1G的内存。也就是说如果计算机的总物理内存大于1G，按照上面的映射关系，高于1G的部分，内核就无法访问到了。为了解决这种状况，就出现了高端内存一说。
因为不能直接将内和空间的1G内存直接做一一映射，所以Linux内核将内核空间分成了三个部分，分别是：ZONE_DMA，ZONE_NORMAL和ZONE_HIGHMEM。这三个区域的内存分配情况如下：
| ZONE_DMA | 内存开始的16MB空间 |
|---|---|
| ZONE_NORMAL | 16MB-896MB |
| ZONE_HIGHMEM | 896MB-结束(1G) |
对高端内存的理解
上一小节就说到高端内存是用来解决内核无法访问大于1G内存地址空间的问题的。那么具体是怎么实现的呢？总的来说非常简单，当内核需要访问高于1G的内存空间的时候，例如内核需要访问0x50000000-0x500FFFFF这1MB内存空间的时候，只需要在ZONE_HIGHMEM这一个区域内临时申请一个1MB的内存空间，然后将其映射到上述需要访问的内存区域即可。当内核使用完后，释放申请的1MB内存空间便完成对高于1G内存空间的访问了。
内存映射（mmap）
mmap基本概念
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
由上图可以看出，进程的虚拟地址空间，由多个虚拟内存区域构成。虚拟内存区域是进程的虚拟地址空间中的一个同质区间，即具有同样特性的连续地址范围。上图中所示的text数据段（代码段）、初始数据段、BSS数据段、堆、栈和内存映射，都是一个独立的虚拟内存区域。而为内存映射服务的地址空间处在堆栈之间的空余部分。
linux内核使用vm_area_struct结构来表示一个独立的虚拟内存区域，由于每个不同质的虚拟内存区域功能和内部机制都不同，因此一个进程使用多个vm_area_struct结构来分别表示不同类型的虚拟内存区域。各个vm_area_struct结构使用链表或者树形结构链接，方便进程快速访问，如下图所示：
vm_area_struct结构中包含区域起始和终止地址以及其他相关信息，同时也包含一个vm_ops指针，其内部可引出所有针对这个区域可以使用的系统调用函数。这样，进程对某一虚拟内存区域的任何操作需要用要的信息，都可以从vm_area_struct中获得。mmap函数就是要创建一个新的vm_area_struct结构，并将其与文件的物理磁盘地址相连。具体步骤请看下一节。
mmap内存映射原理
mmap内存映射的实现过程，总的来说可以分为三个阶段：
进程启动映射过程，并在虚拟地址空间中为映射创建虚拟映射区域
- 进程在用户空间调用库函数mmap，原型：void mmap(void start, size_t length, int prot, int flags, int fd, off_t offset);
- 在当前进程的虚拟地址空间中，寻找一段空闲的满足要求的连续的虚拟地址
- 为此虚拟区分配一个vm_area_struct结构，接着对这个结构的各个域进行了初始化
- 将新建的虚拟区结构（vm_area_struct）插入进程的虚拟地址区域链表或树中
调用内核空间的系统调用函数mmap（不同于用户空间函数），实现文件物理地址和进程虚拟地址的一一映射关系
- 为映射分配了新的虚拟地址区域后，通过待映射的文件指针，在文件描述符表中找到对应的文件描述符，通过文件描述符，链接到内核“已打开文件集”中该文件的文件结构体（struct file），每个文件结构体维护着和这个已打开文件相关各项信息。
- 通过该文件的文件结构体，链接到file_operations模块，调用内核函数mmap，其原型为：int mmap(struct file filp, struct vm_area_struct vma)，不同于用户空间库函数。
- 内核mmap函数通过虚拟文件系统inode模块定位到文件磁盘物理地址。
- 通过remap_pfn_range函数建立页表，即实现了文件地址和虚拟地址区域的映射关系。此时，这片虚拟地址并没有任何数据关联到主存中。
进程发起对这片映射空间的访问，引发缺页异常，实现文件内容到物理内存（主存）的拷贝
注：前两个阶段仅在于创建虚拟区间并完成地址映射，但是并没有将任何文件数据的拷贝至主存。真正的文件读取是当进程发起读或写操作时。
- 程的读或写操作访问虚拟地址空间这一段映射地址，通过查询页表，发现这一段地址并不在物理页面上。因为目前只建立了地址映射，真正的硬盘数据还没有拷贝到内存中，因此引发缺页异常。
- 缺页异常进行一系列判断，确定无非法操作后，内核发起请求调页过程。
- 调页过程先在交换缓存空间（swap cache）中寻找需要访问的内存页，如果没有则调用nopage函数把所缺的页从磁盘装入到主存中。
- 之后进程即可对这片主存进行读或者写的操作，如果写操作改变了其内容，一定时间后系统会自动回写脏页面到对应磁盘地址，也即完成了写入到文件的过程。
注：修改过的脏页面并不会立即更新回文件中，而是有一段时间的延迟，可以调用msync()来强制同步, 这样所写的内容就能立即保存到文件里了。
vm_struct和vm_area_struct
关于vm_struct和vm_area_struct这两个结构体，需要简单说明一下，vm_struct和vm_area_struct都是用于表示一片连续的虚拟地址空间的，但是映射到物理地址空间后可以是不连续的。其次，vm_area_struct表示的虚拟地址是给进程使用的，而vm_struct表示的虚拟地址是给内核使用的。从上面的内容可以知道，内核空间的地址分成三个部分，ZONE_DMA、ZONE_NORMAL和ZONE_HIGHMEM，其中前面两部分是用来和物理地址进行一一映射的，而ZONE_HIGHMEM通过临时借用以及映射的方法管理高于1G的内存，vm_struct所使用的内核虚拟地址就是ZONE_HIGHMEM部分地址。
