Linux内存技术分析（下）
Linux内存技术分析（下）
五、内存使用场景
out of memory 的时代过去了吗？no，内存再充足也不可任性使用。
1、内存的使用场景
- page 管理
- slab（kmalloc、内存池）
- 用户态内存使用（malloc、relloc 文件映射、共享内存）
- 程序的内存 map（栈、堆、code、data）
- 内核和用户态的数据传递（copy_from_user、copy_to_user）
- 内存映射（硬件寄存器、保留内存）
- DMA 内存
2、用户态内存分配函数
- alloca 是向栈申请内存,因此无需释放
- malloc 所分配的内存空间未被初始化，使用 malloc() 函数的程序开始时(内存空间还没有被重新分配) 能正常运行，但经过一段时间后(内存空间已被重新分配) 可能会出现问题
- calloc 会将所分配的内存空间中的每一位都初始化为零
- realloc 扩展现有内存空间大小
- a)如果当前连续内存块足够 realloc 的话，只是将 p 所指向的空间扩大，并返回 p 的指针地址。这个时候 q 和 p 指向的地址是一样的
- b)如果当前连续内存块不够长度，再找一个足够长的地方，分配一块新的内存，q，并将 p 指向的内容 copy 到 q，返回 q。并将 p 所指向的内存空间删除
3、内核态内存分配函数
函数分配原理最大内存其他_get_free_pages直接对页框进行操作4MB适用于分配较大量的连续物理内存kmem_cache_alloc基于 slab 机制实现128KB适合需要频繁申请释放相同大小内存块时使用kmalloc基于 kmem_cache_alloc 实现128KB最常见的分配方式，需要小于页框大小的内存时可以使用vmalloc建立非连续物理内存到虚拟地址的映射物理不连续，适合需要大内存，但是对地址连续性没有要求的场合dma_alloc_coherent基于_alloc_pages 实现4MB适用于 DMA 操作ioremap实现已知物理地址到虚拟地址的映射适用于物理地址已知的场合，如设备驱动alloc_bootmem在启动 kernel 时，预留一段内存，内核看不见小于物理内存大小，内存管理要求较高
4、malloc 申请内存
- 调用 malloc 函数时，它沿 free_chuck_list 连接表寻找一个大到足以满足用户请求所需要的内存块
- free_chuck_list 连接表的主要工作是维护一个空闲的堆空间缓冲区链表
- 如果空间缓冲区链表没有找到对应的节点，需要通过系统调用 sys_brk 延伸进程的栈空间
5、缺页异常
- 通过 get_free_pages 申请一个或多个物理页面
- 换算 addr 在进程 pdg 映射中所在的 pte 地址
- 将 addr 对应的 pte 设置为物理页面的首地址
- 系统调用：Brk—申请内存小于等于 128kb，do_map—申请内存大于 128kb
6、用户进程访问内存分析
- 用户态进程独占虚拟地址空间，两个进程的虚拟地址可相同
- 在访问用户态虚拟地址空间时，如果没有映射物理地址，通过系统调用发出缺页异常
- 缺页异常陷入内核，分配物理地址空间，与用户态虚拟地址建立映射
7、共享内存
1) 原理
- 它允许多个不相关的进程去访问同一部分逻辑内存
- 两个运行中的进程之间传输数据，共享内存将是一种效率极高的解决方案
- 两个运行中的进程共享数据，是进程间通信的高效方法，可有效减少数据拷贝的次数
2) Shm 接口
- shmget 创建共享内存
- shmat 启动对该共享内存的访问，并把共享内存连接到当前进程的地址空间
- shmdt 将共享内存从当前进程中分离
六、内存使用那些坑
1、C 内存泄露
- 在类的构造函数和析构函数中没有匹配地调用 new 和 delete 函数
- 没有正确地清除嵌套的对象指针
- 没有将基类的析构函数定义为虚函数
- 当基类的指针指向子类对象时，如果基类的析构函数不是 virtual，那么子类的析构函数将不会被调用，子类的资源没有得到正确释放，因此造成内存泄露
- 缺少拷贝构造函数，按值传递会调用（拷贝）构造函数，引用传递不会调用
- 指向对象的指针数组不等同于对象数组，数组中存放的是指向对象的指针，不仅要释放每个对象的空间，还要释放每个指针的空间
- 缺少重载赋值运算符，也是逐个成员拷贝的方式复制对象，如果这个类的大小是可变的，那么结果就是造成内存泄露
2、C 野指针
- 指针变量没有初始化
- 指针被 free 或 delete 后，没有设置为 NULL
- 指针操作超越了变量的作用范围，比如返回指向栈内存的指针就是野指针
- 访问空指针（需要做空判断）
- sizeof 无法获取数组的大小
- 试图修改常量，如：char p="1234";p=\'1\';
3、C 资源访问冲突
- 多线程共享变量没有用 valotile 修饰
- 多线程访问全局变量未加锁
- 全局变量仅对单进程有效
- 多进程写共享内存数据，未做同步处理
- mmap 内存映射，多进程不安全
4、STL 迭代器失效
- 被删除的迭代器失效
- 添加元素（insert/push_back 等）、删除元素导致顺序容器迭代器失效
错误示例：删除当前迭代器，迭代器会失效
正确示例：迭代器 erase 时，需保存下一个迭代器
5、C++ 11 智能指针
- auto_ptr 替换为 unique_ptr
- 使用 make_shared 初始化一个 shared_ptr
- weak_ptr 智能指针助手（1）原理分析：
（2）数据结构：
（3）使用方法：a. lock() 获取所管理的对象的强引用指针 b. expired() 检测所管理的对象是否已经释放 c. get() 访问智能指针对象
6、C++ 11 更小更快更安全
- std::atomic 原子数据类型 多线程安全
- std::array 定长数组开销比 array 小和 std::vector 不同的是 array 的长度是固定的，不能动态拓展
- std::vector vector 瘦身 shrink_to_fit()：将 capacity 减少为于 size() 相同的大小
- td::forward_list
forward_list 是单链表（std::list 是双链表），只需要顺序遍历的场合，forward_list 能更加节省内存，插入和删除的性能高于 list
- std::unordered_map、std::unordered_set用 hash 实现的无序的容器，插入、删除和查找的时间复杂度都是 O(1)，在不关注容器内元素顺序的场合，使用 unordered 的容器能获得更高的性能六、 如何查看内存
- 系统中内存使用情况：/proc/meminfo
- 进程的内存使用情况：/proc/28040/status
- 查询内存总使用率：free
- 查询进程 cpu 和内存使用占比：top
- 虚拟内存统计：vmstat
- 进程消耗内存占比和排序：ps aux –sort -rss
- 释放系统内存缓存：
/proc/sys/vm/drop_caches
- To free pagecache, use echo 1 > /proc/sys/vm/drop_caches
- To free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches
- To free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches
