Go性能分析pprof介绍

pprof简介

想要进行性能优化，Go本身自带的工具链就包含了性能分析工具，而且也非常棒，pprof就是Go性能分析的利器，它是Go语言自带的包，有如下两种：

runtime/pprof：采集程序（非 Server）的运行数据进行分析
net/http/pprof：采集 HTTP Server 的运行时数据进行分析，这个其实在上面的功能中包了一层提供了http接口。
pprof用于可视化和性能分析的工具，pprof 以 profile.proto 读取分析样本的集合，并生成报告以可视化并帮助分析数据（支持文本和图形报告）
这个文件是一个ProtocolBuffer v3的描述文件,它描述了一组callstack和 symbolization信息,作用是表示统计分析的一组采样的调用栈，是很常见的 stacktrace 配置文件格式

如果你的go程序是用http包启动的web服务器，你想查看自己的web服务器的状态。这个时候就可以选择net/http/pprof。你只需要引入包_"net/http/pprof"，
然后就可以在浏览器中使用http://localhost:port/debug/pprof/直接看到当前web服务的状态，包括CPU占用情况和内存使用情况等。具体使用情况你可以看godoc的说明。

使用方式

Report generation：报告生成，直接生成一个文件，解析这个文件得到结果
Interactive terminal use：交互式终端使用，实时反馈，监控，需要开发人员输入指令,根据输入的指令返回想要的信息。
Web interface：Web 界面，实时反馈,监控，对开发人员友好。很方便，直观的获取和统计需要的数据。

能做什么

CPU Profiling: CPU分析，按照一定的频率采集所监听的应用程序的CPU使用情况，可确定应用程序在主动消耗 CPU 周期时花费时间的位置。
Memory Profiling:内存分析，在应用程序堆栈分配时记录跟踪，用于监视当前和历史内存使用情况，检查内存泄漏情况。
Block Profiling：阻塞分析，记录goroutine阻塞等待同步的位置
Mutex Profiling:互斥锁分析，报告互斥锁的竞争情况

一个小Demo来解释

import (
   "net/http"
   _ "net/http/pprof"
)
func PprofWeb() {
   err := http.ListenAndServe(":9909", nil)
   if err != nil {
      panic(err)
   }
}

web界面使用

启动这段代码后，访问 http://localhost:9909/debug/pprof/ ,就可以看到监控页面了，截图信息如下，我们对这些进行一下解释。

allocs：所有过去内存分配的采样
block：导致同步原语阻塞的堆栈跟踪
cmdline：当前程序的命令行调用
goroutine：所有当前goroutine的堆栈跟踪
heap：活动对象的内存分配的采样。在获取堆样本之前,可以指定gc GET参数来运行gc。
metux：争用互斥锁持有者的堆栈跟踪
profile：CPU配置文件。您可以在seconds GET参数中指定持续时间。获取配置文件后，使用go tool pprof命令调查配置文件
threadcreate：导致创建新操作系统线程的堆栈跟踪
trace：当前程序的执行轨迹。您可以在seconds GET参数中指定持续时间。获取跟踪文件后，使用go tool trace命令调查跟踪

交互式终端使用

控制台输入如下命令，这个命令的作用是追踪上面代码60秒内CPU的消耗情况，执行该命令后，需要等待60秒（这个时间可自己调整），60秒到达后默认进入pprof交互式命令行中，可输入help命令查看pprof的使用帮助

go tool pprof http://localhost:9909/debug/pprof/profile?seconds=60

执行该命令后，需等待 60 秒（可调整 seconds 的值），pprof 会进行 CPU Profiling。结束后将默认进入 pprof 的交互式命令模式，
可以对分析的结果进行查看或导出。具体可执行 pprof help 查看命令说明
(pprof)后面的命令：

help
top [n]，查看排名前n个数据，默认为10
tree [n]，以树状图形式显示，默认显示10个

我们看下面图片，命令执行后，过了10秒钟进入交互式控制台，我输入了top10，代表意思是显示前10个消耗CPU较多的方法，图中的flat，sum，cum是什么含义呢，接下来解释一下。
flat：给定函数上的运行耗时
flat% ：给定函数上的CPU运行耗时占比
sum% ：给定函数累积使用CPU总比例
cum ：当前函数加上它之前的调用运行总耗时
cum% ：当前函数加上他之前的调用CPU运行耗时占比

还有其它很多的命令比如 list，使用 list 函数名命令查看具体的函数分析，同样的，下面的命令行可以查看堆内存，阻塞，锁的使用情况

go tool pprof http://localhost:9099/debug/pprof/heap
go tool pprof http://localhost:9099/debug/pprof/block
go tool pprof http://localhost:9099/debug/pprof/mutex

可视化界面使用

在上面的web界面中我们可以看到一行profile文字，点击这个文字可以下载一个profile文件，下载完成之后。我们在这个文件所在目录运行如下命令，有两种方式

go tool pprof profile文件名, 此时会进入一个交互式控制台，输入命令 web会产生一个svg文件，程序回启动浏览器自动打开这个文件，即可进入可视化界面。我们也可以在上面CPU分析中的控制台中以同样的方式进入可视化界面。

go tool pprof -http=:8080 profile文件名 ,此时浏览器会默认打开localhost:8080访问，建议使用这种方式，获取更好体验。

如果出现下面错误,你需要安装一个软件Graphviz,安装地址如下,这是一个图形可视化软件,安装完成之后配置环境变量
windows用户下载msi包安装后需要把安装目录下的bin目录添加到环境变量才行
linux用户使用yum install graphviz安装即可，当然，纯命令行界面是不能查看的。
如查看历史调试文件信息，通过指定的profile文件进入即可: go tool pprof [*.gz]

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

Failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in %PATH%

如下图，展示CPU的在各个方法上的运行时间，关于图形的说明：每个框代表一个函数，理论上框的越大表示占用的CPU资源越多。方框之间的线条代表函数之间的调用关系。线条上的数字表示cpu执行时间。方框中的第一行数字表示当前函数占用CPU的百分比，第二行数字表示当前函数累计占用CPU的百分比。

火焰图

使用火焰图需要手动安装Pprof原生工具，这是google提供的一个工具，记住google和Go官方不是一个概念。
github网址 https://github.com/google/pprof

windows 安装方式

go install github.com/google/pprof@latest

启动火焰图可视化工具

pprof -http=:8080 profile文件名

问web地址 localhost:8080，如果上面的命令不加-http=:8080，则默认进入交互式控制台，输入web命令，生成一个文件自动启动浏览器自动打开，火焰图明显比上面Go官方的可视化界面要精致许多。

如何观察下面的火焰图呢？Y轴表示调用栈，每一层都是一个函数，调用栈越深火焰就越高，最底部是正在执行的函数，上面是它的父函数，X轴表示这个函数的抽样数，如果一个函数在X轴占的越宽，代表抽样数越高，执行CPU的时间越长，注意，X轴不代表时间,而是所有的调用栈合并后，按字母顺序排列的.

火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶"（plateaus），就表示该函数可能存在性能问题
它的最大优点是动态的。调用顺序由上到下（A -> B -> C -> D），每一块代表一个函数，越大代表占用 CPU 的时间更长。同时它也支持点击块深入进行分析！

对非web程序的性能分析

截至目前，上面我们都是对一个web应用程序进行性能检测分析，用到的都是http接口形式访问，那么一个非web程序应该监测性能呢？如果你仔细观察你会发现性能分析的本质就是对profile文件进行分析，所以我们需要在一个非web应用程序中生成一个profile文件出来，这样就可以通过go tool pprof工具分析这个文件了

在runtime/pprof 提供了很多方法用来统计程序运行过程中CPU和内存的消耗情况，下面我们一起实践一下。

下面这段代码获取CPU的profile文件，会在当前目录下生成一个cpu.prof文件，之后我们可以通过go tool prof -http=:8080 cpu.prof 这个命令用浏览器来查看cpu的使用情况

func PProfCPUApplication() {
   f, _ := os.Create("./cpu.prof")
   pprof.StartCPUProfile(f)

   for i := 1; i < 3000; i++ {
      time.Sleep(3 * time.Millisecond)
      RandomInt(10, 50)
   }
   pprof.StopCPUProfile()
   f.Close()
}

下面这段代码获取内存的profile文件,会在当前目录下生成一个mem.prof文件,之后我们可以通过go tool prof -http=:8080 mem.prof 这个命令用浏览器来查看内存的使用情况

func PProfMemApplication() {
   f, _ := os.Create("./mem.prof")
   for i := 1; i < 3000; i++ {
      time.Sleep(3 * time.Millisecond)
      RandomInt(10, 50)
   }
   pprof.WriteHeapProfile(f)
   f.Close()
}

在如何用好Go的测试黑科技一文中也说到可以用go test在测试时使用指定参数生成CPU和内存的profile文件。

go test -bench . -cpuprofile= cpu.prof
go test -bench . -memprofile= mem.prof

posted @ 2024-01-20 10:59 誓鼎阅读(206) 评论(0) 编辑收藏举报

刷新页面返回顶部

誓鼎