perf + 火焰图用法 小结

要对新服务做性能测试，分析代码热点，初识perf，做下总结

• perf + 火焰图用法

  • perf简介

    Perf (Performance Event), Linux 系统原生提供的性能分析工具, 会返回 CPU 正在执行的函数名以及调用栈（stack）

    • 通过它，应用程序可以利用 PMU，tracepoint 和内核中的特殊计数器来进行性能统计。它不但可以分析指定应用程序的性能问题 (per thread)
      ，也可以用来分析内核的性能问题，当然也可以同时分析应用代码和内核，从而全面理解应用程序中的性能瓶颈

    • 通常，它的执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题

      sudo perf record -F 99 -p 13204 -g -- sleep 30
      

    • 上面的代码中，perf record表示记录，-F 99表示每秒99次，-p 13204是进程号，即对哪个进程进行分析，-g表示记录调用栈，sleep 30则是持续30秒

    • 运行后会产生一个庞大的文本文件。如果一台服务器有16个 CPU，每秒抽样99次，持续30秒，就得到 47,520 个调用栈，长达几十万甚至上百万行。

    • 为了便于阅读，perf record命令可以统计每个调用栈出现的百分比，然后从高到低排列

  • 火焰图简介

    火焰图(flame graph), 是基于 perf 结果产生的 SVG 图片，用来展示 CPU 的调用栈

    • y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。

    • x轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。

    • 火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶"（plateaus），就表示该函数可能存在性能问题。

    • 颜色没有特殊含义，因为火焰图表示的是 CPU 的繁忙程度，所以一般选择暖色调。

  • 火焰图互动性

    火焰图是 SVG 图片，可以与用户互动。

    • 鼠标悬浮

      • 火焰的每一层都会标注函数名，鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比。下面是一个例子

        Function: Taf::TC_Thread::threadEntry (7,665 samples, 49.9%)
        

    • 点击放大

      • 在某一层点击，火焰图会水平放大，该层会占据所有宽度，显示详细信息
      • 左上角会同时显示"Reset Zoom"，点击该链接，图片就会恢复原样。

    • 搜索

      • 按下 Ctrl + F 会显示一个搜索框，用户可以输入关键词或正则表达式，所有符合条件的函数名会高亮显示

  • 实例

    • 登录宿主机或者容器

      go -d A
      

    • 查看进程pid

      ps aux|grep name
      

    • 使用perf记录和生成

      perf record -F 99 -p 101503 -m 4 -g -a -- sleep 60
      perf script > out.perf
      

    • 制作火焰图

      • 从github上clone下来

        git clone https://github.com/brendangregg/FlameGraph.git
        cd FlameGraph
        

      • 处理perf script

        ./stackcollapse-perf.pl out.perf > out.folded
        

      • 绘制SVG

        ./flamegraph.pl out.folded > pmCount.svg
        

  • 火焰图局限性

    • 调用栈不完整

      • 当调用栈过深时，某些系统只返回前面的一部分（比如前10层）。

    • 函数名缺失

      • 有些函数没有名字，编译器只用内存地址来表示（比如匿名函数）。

  • 火焰图示例

    

    • 从图中看出，jce 的display方法是代码热点，占用cpu资源很高, 优化之后预计性能提升20%+

• 后台服务性能测试常见指标

  • 测试指标

    • QPS（吞吐量）

      • 每秒钟系统能够处理的请求数、任务数

    • 响应时间

      • 服务处理一个请求或一个任务的耗时

    • 错误率

      • 一批请求中结果出错的请求所占比例

  • 压测

    • 参数

      • 并发数
      • 请求个数

    • 分析

      • req个数
      • 有效rsp个数
      • 耗时分布
        • 耗时随QPS上升的曲线
      • QPS
        • 第一次出现异常，即当前系统已经开始出现异常（QPS=有效RSP/主调超时时间）
      • 异常率统计
        • 异常率=失败RSP/REQ

  • 优化

    • 分析服务瓶颈

      • top
      • vmstat
      • google-perftools

    • 专项优化

      • CPU分析
        • perf
        • 火焰图
      • 内存分析

• 参考

  • 如何读懂火焰图？
  • Linux 效能分析工具: Perf