鲲鹏性能优化十板斧（二）——CPU与内存子系统性能调优
1.1 CPU与内存子系统性能调优简介
调优思路
性能优化的思路如下：
l 如果CPU的利用率不高，说明资源没有充分利用，可以通过工具（如strace）查看应用程序阻塞在哪里，一般为磁盘，网络或应用程序的业务处理中存在休眠或信号等待，这些优化措施在后续其它章节描述。
l 如果CPU利用率高，通过优化软件硬件的配置参数来更好适配业务场景，减少CPU占用率，让整个系统有更多的CPU时间来处理业务。
我们也可以选择更好的硬件，根据CPU的能力配置合适的内存条，建议内存满通道配置，发挥内存最大带宽：一颗鲲鹏920处理器的内存通道数为8，两颗鲲鹏920处理器的内存通道数为16；建议选择高频率的内存条，提升内存带宽：鲲鹏920在1DPC配置时，支持的内存最高频率为2933MHz。
主要优化参数
|
优化项 |
优化项简介 |
默认值 |
生效范围 |
鲲鹏916 |
鲲鹏920 |
|
优化应用程序的NUMA配置 |
在NUMA架构下，CPU core访问临近的内存时访问延迟更低。将应用程序绑在一个NUMA节点，可减少因访问远端内存带来的性能下降。 |
默认不绑定核 |
立即生效 |
yes |
yes |
|
修改CPU预取开关 |
内存预取在数据集中场景下可以提前将要访问的数据读到CPU cache 中，提升性能；若数据不集中，导致预取命中率低，则浪费内存带宽。 |
on |
重启生效 |
no |
yes |
|
调整定时器机制 |
nohz机制可减少不必要的时钟中断，减少CPU调度开销。 |
不同OS默认配置不同 Euler：nohz=off |
重启生效 |
yes |
yes |
|
调整内存的页大小为64K |
内存的页大小越大，TLB中每行管理的内存越多，TLB命中率就越高，从而减少内存访问次数。 |
不同OS默认配置不同: 4KB或64K |
重新编译内核、更新内核后生效 |
yes |
yes |
|
优化应用程序的线程并发数 |
适当调整应用的线程并发数，使得充分利用多核能力和资源争抢之间达到平衡。 |
由应用本身决定 |
立即生效或重启生效（由应用决定） |
yes |
yes |
1.2 常用性能监测工具
1.2.1 top工具
介绍
top是最常用的Linux性能监测工具之一。通过top工具可以监视进程和系统整体性能。
命令参考举例：
|
命令 |
说明 |
|
top |
查看系统整体的CPU、内存资源消耗。 |
|
top执行后输入1 |
查看每个CPU core资源使用情况。 |
|
top执行后输入F，并选择P选项 |
查看线程执行过程中是否调度到其它CPU core。 |
|
top -p $PID -H |
查看某个进程内所有线程的CPU资源占用。 |
安装方式
系统自带，无需安装。
使用方法
步骤 1 使用top命令统计整体CPU、内存资源消耗。
l CPU项：显示当前总的CPU时间使用分布。
-
us表示用户态程序占用的CPU时间百分比。
-
sy表示内核态程序所占用的CPU时间百分比。
-
wa表示等待IO等待占用的CPU时间百分比。
-
hi表示硬中断所占用的CPU时间百分比。
-
si表示软中断所占用的CPU时间百分比。
通过这些参数我们可以分析CPU时间的分布，是否有较多的IO等待。在执行完调优步骤后，我们也可以对CPU使用时间进行前后对比。如果在运行相同程序、业务情况下CPU使用时间降低，说明性能有提升。
l KiB Mem：表示服务器的总内存大小以及使用情况。
l KiB Swap：表示当前所使用的Swap空间的大小。Swap空间即当内存不足的时候，把一部分硬盘空间虚拟成内存使用。如果当前所使用的Swap空间大于0，可以考虑优化应用的内存占用或增加物理内存。
步骤 2 在top命令执行后按1，查看每个CPU core的使用情况。
通过该命令可以查看单个CPU core的使用情况，如果CPU占用集中在某几个CPU core上，可以结合业务分析触发原因，从而找到优化思路。
步骤 3 选中top命令的P选项，查看线程运行在哪些 CPU core上。
在top命令执行后按F，可以进入top命令管理界面。在该界面通过上下键移动光标到P选项，通过空格键选中后按Esc退出，即可显示出线程运行的CPU核。观察一段时间，若业务线程在不同NUMA节点内的CPU core上运行，则说明存在较多的跨NUMA访问，可通过NUMA绑核进行优化。
步骤 4 使用top -p $PID -H命令观察进程中每个线程的CPU资源使用。
“-p”后接的参数为待观察的进程ID。通过该命令可以找出消耗资源多的线程，随后可根据线程号分析线程中的热点函数、调用过程等情况
----结束
1.2.2 Perf工具
介绍
Perf工具是非常强大的Linux性能分析工具，可以通过该工具获得进程内的调用情况、资源消耗情况并查找分析热点函数。
命令参考举例：
|
命令 |
说明 |
|
perf top |
查看当前系统中的热点函数。 |
|
perf sched record -- sleep 1 -p $PID |
记录进程在1s内的系统调用。 |
|
perf sched latency --sort max |
查看上一步记录的结果，以调度延迟排序。 |
安装方式
以CentOS为例，使用如下命令安装：
# yum -y install perf
使用方法
步骤 1 通过perf top命令查找热点函数。
该命令统计各个函数在某个性能事件上的热度，默认显示CPU占用率，可以通过“-e”监控其它事件。
l Overhead表示当前事件在全部事件中占的比例。
l Shared Object表示当前事件生产者，如kernel、perf命令、C语言库函数等。
l Symbol则表示热点事件对应的函数名称。
通过热点函数，我们可以找到消耗资源较多的行为，从而有针对性的进行优化。
步骤 2 收集一段时间内的线程调用。
perf sched record命令用于记录一段时间内，进程的调用情况。“-p”后接进程号，“sleep”后接统计时长，单位为秒。收集到的信息自动存放在当前目录下，文件名为perf.data。
步骤 3 解析收集到的线程调度信息。
perf sched latency命令可以解析当前目录下的perf.data文件。“-s”表示进行排序，后接参数“max”表示按照最大延迟时间大小排序。
----结束
1.2.3 numactl工具
介绍
numactl工具可用于查看当前服务器的NUMA节点配置、状态，可通过该工具将进程绑定到指定CPU core，由指定CPU core来运行对应进程。
命令参考举例：
|
命令 |
说明 |
|
numactl -H |
查看当前服务器的NUMA配置。 |
|
numactl -C 0-7 ./test |
将应用程序test绑定到0~7核运行。 |
|
numastat |
查看当前的NUMA运行状态。 |
安装方式
以CentOS为例，使用如下命令安装：
# yum -y install numactl numastat
使用方法
步骤 1 通过numactl查看当前服务器的NUMA配置。
从numactl执行结果可以看到，示例服务器共划分为4个NUMA节点。每个节点包含16个CPU core，每个节点的内存大小约为64GB。同时，该命令还给出了不同节点间的距离，距离越远，跨NUMA内存访问的延时越大。应用程序运行时应减少跨NUMA访问内存。
步骤 2 通过numactl将进程绑定到指定CPU core。
通过 numactl -C 0-15 top 命令即是将进程“top”绑定到0~15 CPU core上执行。
可以通过numastat命令观察各个NUMA节点的状态。
l numa_hit表示节点内CPU核访问本地内存的次数。
l numa_miss表示节点内核访问其他节点内存的次数。跨节点的内存访问会存在高延迟从而降低性能，因此，numa_miss的值应当越低越好，如果过高，则应当考虑绑核。
----结束
1.3 优化方法
1.3.1 NUMA优化，减少跨NUMA访问内存
原理
通过1.1 鲲鹏处理器NUMA简介章节可以看到不同NUMA内的CPU core访问同一个位置的内存，性能不同。内存访问延时从高到低为：跨CPU > 跨NUMA不跨CPU > NUMA内
因此在应用程序运行时要尽可能的避免跨NUMA访问内存，我们可以通过设置线程的CPU亲和性来实现。
修改方式
l 网络可以通过如下方式绑定运行的CPU core，其中$cpuMask是16进制的数，最右边的bit表示core0；$irq为网卡队列中断号。
echo $cpuMask > /proc/irq/$irq/smp_affinity_list
l 通过numactl启动程序，如下面的启动命令表示启动test程序，只能在CPU core 28到core31运行(-C控制)。
numactl -C 28-31 ./test
l 在C/C++代码中通过sched_setaffinity函数来设置线程亲和性。
l 很多开源软件已经支持在自带的配置文件中修改线程的亲和性，例如nginx可以修改nginx.conf文件中的worker_cpu_affinity参数来设置nginx线程亲和性。
1.3.2 修改CPU的预取开关
原理
局部性原理分为时间局部性原理和空间局部性原理：
l 时间局部性原理（temporal locality）：如果某个数据项被访问，那么在不久的将来它可能再次被访问。
l 空间局部性原理（spatial locality）：如果某个数据项被访问，那么与其地址相邻的数据项可能很快也会被访问。
CPU将内存中的数据读到CPU的高速缓冲Cache时，会根据局部性原理，除了读取本次要访问的数据，还会预取本次数据的周边数据到Cache里面，如果预取的数据是下次要访问的数据，那么性能会提升，如果预取的数据不是下次要取的数据，那么会浪费内存带宽。
对于数据比较集中的场景，预取的命中率高，适合打开CPU预取，反之需要关闭CPU预取。目前发现speccpu和X265软件场景适合打开CPU预取，STREAM测试工具、Nginx和数据库场景需要关闭CPU预取。
修改方式
按照B 进入BIOS界面的步骤进入BIOS，然后在BIOS的如下位置设置CPU的预取开关。
1.3.3 定时器机制调整，减少不必要的时钟中断
原理
在Linux内核2.6.17版本之前，Linux内核为每个CPU设置一个周期性的时钟中断，Linux内核利用这个中断处理一些定时任务，如线程调度等。这样导致就算CPU不需要定时器的时候，也会有很多时钟中断，导致资源的浪费。Linux 内核2.6.17版本引入了nohz机制，实际就是让时钟中断的时间可编程，减少不必要的时钟中断。
修改方式
执行cat /proc/cmdline查看Linux 内核的启动参数，如果有nohz=off关键字，说明nohz机制被关闭，需要打开。修改方法如下：
修改前后，可以通过如下命令观察timer_tick的调度次数，其中$PID为要观察的进程ID，可以选择CPU占用高的进程进行观察：
perf sched record -- sleep 1 -p $PID
perf sched latency -s max
输出信息中有如下信息，其中591字段表示统计时间内的调度次数，数字变小说明修改生效。
timer_tick:(97) | 7.364 ms | 591 | avg: 0.012 ms | max: 1.268 ms
步骤 1 在“/boot”目录下通过find -name grub.cfg找到启动参数的配置文件。
步骤 2 在配置文件中将nohz=off去掉。
步骤 3 重启服务器。
----结束
1.3.4 调整内存页的大小为64K，提升TLB命中率
原理
TLB（Translation lookaside buffer）为页表（存放虚拟地址的页地址和物理地址的页地址的映射关系）在CPU内部的高速缓存。TLB的命中率越高，页表查询性能就越好。
TLB的一行为一个页的映射关系，也就是管理了一个页大小的内存：
TLB管理的内存大小 = TLB行数 x 内存的页大小
同一个CPU的TLB行数固定，因此内存页越大，管理的内存越大，相同业务场景下的TLB命中率就越高。
修改方式
修改Linux内核编译选项，并重新编译：
修改前后可以通过如下命令观察TLB的命中率（$PID为进程ID）：
perf stat -p $PID -d -d -d
输出结果包含如下信息，其中1.21%和0.59%分别表示数据的miss率和指令的miss率。
1,090,788,717 dTLB-loads # 520.592 M/sec
13,213,603 dTLB-load-misses # 1.21% of all dTLB cache hits
669,485,765 iTLB-loads # 319.520 M/sec
3,979,246 iTLB-load-misses # 0.59% of all iTLB cache hits
步骤 1 执行make menuconfig。
步骤 2 选择PAGESIZE大小为64K。
Kernel Features-->Page size(64KB)
步骤 3 编译和安装内核。
参考https://bbs.huaweicloud.com/forum/thread-24362-1-1.html
----结束
1.3.5 调整线程并发数
原理
程序从单线程变为多线程时，CPU和内存资源得到充分利用，性能得到提升。但是系统的性能并不会随着线程数的增长而线性提升，因为随着线程数量的增加，线程之间的调度、上下文切换、关键资源和锁的竞争也会带来很大开销。当资源的争抢比较严重时，甚至会导致性能明显降。下面数据为某业务场景下，不同并发线程数下的TPS，可以看到并发线程数达到128后，性能达到高峰，随后开始下降。我们需要针对不同的业务模型和使用场景做多组测试，找到适合本业务场景的最佳并发线程数。
修改方式
不同的软件有不同的配置，需要根据代码实现来修改，这里举例几个常用开源软件的修改方法：
-
MySql可以通过innodb_thread_concurrency设置工作线程的最大并发数。
-
Nginx可以通过worker_processes参数设置并发的进程个数。
作者：莱德汪汪队
