RHCA rh442 007 hugetlbfs strace命令追踪 脏页设置 内存分配
内存管理
虚拟内存 --- 物理内存
应用程序申请虚拟内存 --- RAM + SWAP (真正主板上的设备)
他们之间有一张映射表 page table 页表
PTE： 页表条目 虚拟内存和物理内存的映射关系
每一条的条目叫PTE
cpu MMU 内存管理单元
虚拟内存与物理内存之间做映射的管理单元
TLB 大页 给PTE提供缓存, 从内存中分配, 从内存中分配一段区域来缓存PTE记录
下次打开从缓存TLB里面调用，不需要通过mmu重新分配
sysctl -a | grep huge
过滤大页选项
cat /proc/meminfo
查看内存内容
大页是一段连续的地址空间，一段分配，大页不使用，空间也被占用了。默认情况系统不使用大页，大页用来记录PTE的缓存
[root@workstation ~]# lab memtuning-paging start
实验
[root@servera ~]# vi /etc/sysctl.conf
[root@servera ~]# sysctl -p
vm.swappiness = 15
vm.nr_hugepages = 100
[root@servera ~]#
[root@servera ~]#
[root@servera ~]#
[root@servera ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: 16384 kB
ShmemHugePages: 0 kB
HugePages_Total: 100
HugePages_Free: 100
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
Hugetlb: 204800 kB
申请100M的大页
[root@servera ~]# bigmem -H 100M
Process PID: 5928
Allocating 100 MiB of huge pages (50 pages)
Assuming 2 MiB huge pages...
Done
[root@servera ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: 16384 kB
ShmemHugePages: 0 kB
HugePages_Total: 100
HugePages_Free: 50
HugePages_Rsvd: 0
vm.nr_hugepages = 100
大页数
一个大页2048k
大页一共大小 200M
分配大页让cpu更节省资源
大页很难设置好，所以
透明大页
当你需要大页时，系统动态分配大页
[root@servera transparent_hugepage]# cat enabled
[always] madvise never
[root@servera transparent_hugepage]# pwd
/sys/kernel/mm/transparent_hugepage
[root@servera transparent_hugepage]#
[root@servera transparent_hugepage]# echo never > enabled
[root@servera transparent_hugepage]# pwd
/sys/kernel/mm/transparent_hugepage
[root@servera transparent_hugepage]# cat enabled
always madvise [never]
[root@servera transparent_hugepage]#
madvise 触发式 （在特殊情况下）
THP（透明大页）在某些场景会出现异常 Oracle MongoDB Redis 可能导致延迟和内存使用问题
Oracle MongoDB Redis
大内存使用，内存消耗大户
数据库调优首先关闭透明大页
华为的虚拟化用到了透明大页和NUMA
大页的设置参照这个公式比较好
内核参数
hugepages=整数
hugetlbfs
如果你的应用程序需要调用大页那你就得配置hugetlbfs （应用程序包含mmap调用）
那你就得需要配置虚拟文件系统
有没有你都把它挂上就好了
nodev hugetlbfs /hugetlbfs defaults 0 0
mkdir /my-hugepages
mount -t hugetlbfs none /my-hugepages
这个设备名去 /proc/filesystems里面看
追踪可以查看到命令里的mmap
strace 追踪
-c 统计
[root@foundation0 ~]# strace -c cp -r /etc/ /tmp
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
19.07 0.191608 59 3216 13 openat
18.06 0.181443 62 2917 read
13.53 0.135940 53 2527 lstat
13.16 0.132202 41 3206 close
12.23 0.122903 38 3203 fstat
7.83 0.078694 51 1526 write
5.08 0.051012 37 1374 fadvise64
3.62 0.036399 42 864 getdents64
3.49 0.035071 81 432 mkdir
2.39 0.023991 83 289 symlinkat
1.19 0.011930 41 289 readlink
0.16 0.001571 43 36 mmap
0.07 0.000675 42 16 mprotect
0.03 0.000325 36 9 1 lseek
0.02 0.000207 103 2 statfs
0.01 0.000112 22 5 brk
0.01 0.000090 45 2 munmap
0.01 0.000073 36 2 umask
0.01 0.000070 70 1 rt_sigprocmask
0.01 0.000070 70 1 prlimit64
0.01 0.000055 55 1 futex
0.01 0.000052 26 2 rt_sigaction
0.00 0.000048 48 1 1 newfstatat
0.00 0.000046 23 2 1 access
0.00 0.000040 40 1 stat
0.00 0.000038 38 1 sysinfo
0.00 0.000037 37 1 geteuid
0.00 0.000037 18 2 1 arch_prctl
0.00 0.000035 35 1 set_robust_list
0.00 0.000025 25 1 set_tid_address
0.00 0.000000 0 1 execve
------ ----------- ----------- --------- --------- ----------------
100.00 1.004799 19931 17 total
time 多少的时间在干什么
calls 调用多少次
usecs/call 每次系统调用所花的微妙
second = usecs x call
追踪这命令做了什么
[root@foundation0 ~]# strace -e openat cp -r /etc/ /tmp
追踪这个命令做了什么打开的操作
案例
strace -e open ssh 192.168.6.22
有时ssh 连接会很慢
尝试strace跟踪，然后-e open
查看这个ssh读到的这个文件
nsswithch.conf：服务搜索顺序
文件/etc/nsswitch.conf(name service switch configuration，名字服务切换配置)规定通过哪些途径以及按照什么顺序通过这些途径来查找特定类型的信息。还可以指定某个方法奏效或失效时系统将采取什么动作。
可以发现他先从host表里面找，然后再从dns里面找
ssh 查dns，（因为ssh加密）加密通常和计算机名有关。通常给计算机名加密。ssh反查ip地址对应的计算机名是谁，查半天查不到 (etc/hosts lib_files.so.2)调整etc/hosts就可以也可以不做dns查询
目标主机不要做dns查询
[(本地的也可以改一改)]
简单的ls命令系统也做了很多工作，打开了很多文件
resident memory（物理内存） 和 virtual memory（虚拟内存）
内存过量分配
内存复用
华为内存复用150%
虚拟机的内存加起来超过宿主机
[root@servera /]# sysctl -a | grep overcom
vm.nr_overcommit_hugepages = 0
vm.overcommit_kbytes = 0
vm.overcommit_memory = 1 #默认0
vm.overcommit_ratio = 50 #默认50
vm.overcommit_memory
0 有多少就分配多少 （没有就没有）
1 总是过量分配 （瞬间很高，是可以接受的，这一瞬间，应用程序会很慢。总是过量那就会有问题）
2 平衡值 可以分配的虚拟内存为SWAP + RAM * 50%
设为2
vm.overcommit_ratio = 50 这个值才有意义
这个是比率可以调整
调高了对性能还是会有影响
测试
bigmem -b
swap对于应用程序来说也是物理内存
缓存
内存页状态
used 被使用不能分配
free 立即可分配
buff/cache clean page 可以释放，干净的页 它没有被改变，或者已经同步到磁盘
Dirty 已经改变，没有写到磁盘
回收脏页
后端有pdflush 监控内存页并回收
[root@servera ~]# sysctl -a | grep dirty
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 40
vm.dirty_writeback_centisecs = 500
vm.dirtytime_expire_seconds = 43200
vm.dirty_expire_centisecs 脏页老化时间
脏页的过期时间，3000 = 1/100 秒 =30秒
没回收数据就丢了，不进硬盘
写到脏页是为了写缓存
写缓存，聚合io： 提升写性能
脏页不宜过长，容易丢失数据
如果写入的数据是随机的小IO，则建议将脏页老化时间设置得更长一些，让数据得以更多的聚合，反之，如果数据是连续的IO或者大IO，256K直接下发，不经过缓存
watch -n 1 'cat /proc/meminfo | grep Dirty'
拷贝数据，然后可以测出，确实是30m
vm.dirty_ratio 脏页站整个内存的比率
脏页占整个内存的比率 64G 32G = 50%
低水位： 当脏页的数量达到整个内存40%时，即便没有到老化时间，也会立即回收脏页
10%
来不及聚合就被回收
80%
脏页一直没回收，直到耗尽内存 波动大
384G*40% 那脏页也特别大啊
vm.dirty_bytes = 0
0为不关注
可以设置脏页达到10G时，会立即回收
vm.dirty_writeback_centisecs = 500
5秒监控一次，是否达到这个值
vm.dirty_background_ratio = 10
某一个进程脏页达到整个内存10%时会立即回收，一个进程消耗了太多了
vm.dirty_background_bytes = 0
进程消耗脏页达到这个值就被回收
sync立即回收所有脏页
查看回收内存
[root@servera ~]# watch -n 1 'cat /proc/meminfo | grep Dirty'
Dirty: 0 kB
写随机数到磁盘 以此测试
[root@servera ~]# dd if=/dev/urandom of=/dev/vdc
Dirty: 14400 kB
达到14000左右就会被回收
[root@servera ~]# free -m
total used free shared buff/cache available
Mem: 1829 182 1459 16 187 1487
Swap: 0 0 0
因为到达了进程内存限制 10% （free+buff/cache）
提高比率
[root@servera ~]# sysctl -a | grep dirty
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 40
vm.dirty_writeback_centisecs = 500
vm.dirtytime_expire_seconds = 43200
[root@servera ~]#
[root@servera ~]# tail -n 2 /etc/sysctl.conf
vm.dirty_background_ratio = 20
[root@servera ~]# sysctl -p
vm.dirty_background_ratio = 20
那么脏页会达到30000左右
打开swap
[root@servera ~]# free -m
total used free shared buff/cache available
Mem: 1829 188 1412 16 227 1479
Swap: 5119 0 5119
发现，就算开了swap他依然直到30000
那么跟swap是没有关系的
关闭进程限制，以查看整体脏页限制
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 40
谁先到谁回收
超过30秒回收
到达总体40%回收
注意
[root@servera ~]# sysctl vm.dirty_background_ratio=0
vm.dirty_background_ratio = 0
设置为0就不太好，没到多少就回收
根本不聚合
默认10%
你希望某一个应用程序得到io聚合，比如数据库，你希望它得到更多的聚合，你就设置
dirty_background_ratio多一点
系统整体不需要太低或太高就行
不回收数据有可能会丢，回收太快就没有聚合
pdflush
[root@servera ~]# sysctl vm.drop_caches=3
vm.drop_caches = 3
[root@servera ~]# cat /proc/sys/vm/drop_caches
3
[root@servera ~]#
我们其实不需要手动清空缓存
系统会自己清空缓存，一旦内存紧张
更倾向清空它，还是使用swap
当读取随机IO较多时，建议保留cache
否则，建议清空cache
[root@servera ~]# sysctl -a | grep swapp
vm.swappiness = 15
这个默认60
取值范围0-100
当内存紧张时
设置为0则尽量不使用swap，去释放内存得到更多资源，如果这个数字越大，越倾向于使用swap资源，而保留cache
tail -n 2 /etc/sysctl.conf
vm.swappiness = 5
当为5时
total used free shared buff/cache available
Mem: 1829 196 1173 16 458 1470
Swap: 5119 0 5119
[root@servera tuned]# bigmem 1100M
申请内存
total used free shared buff/cache available
Mem: 1829 1305 75 16 447 361
Swap: 5119 0 5119
他并没有使用swap，而是选择放弃缓存
内存不紧张你没必要释放cache，因为可以提高读性能。就算内存满了，他也会自动释放
你只有1800
你非要，要2000的内存
swap可也临时给你顶上，不然你的程序直接死机
total used free shared buff/cache available
Mem: 1829 1710 73 0 45 23
Swap: 5119 504 4615
我结束了bigmem，为什么swap还剩93
Swap: 5119 95 5024
当内存紧张时，内存中不用的数据暂时丢到swap中去。进程结束了，那个swap里的缓存数据不大且用不到。就还没被换到内存里来，还待在swap里
页中断，把数据都放到内存中，可以防止页中断。
minflt
主页中断 来自swap的内存，会影响性能
majflt
次页中断 不怎么影响性能
你分内存80%的内存来自swap性能变差
页切换
