perf + perf-agent-map+bindfs +flamescope生成java docker 火焰图
以下是一个集成各种工具,生成java docker应用火焰图的尝试,还是有缺陷的,更好的方式还是使用async-profiler(简单,全家桶)
环境预备
- docker&&bindfs安装
这个可以参考相关文档,比较简单,yum 就可以 - perf-agent-map 安装
这个需要构建,使用了支持docker 的版本https://github.com/chbatey/perf-map-agent
构建代码在 / 目录
git clone https://github.com/chbatey/perf-map-agent.git
cd perf-map-agent
cmake .
make
- flamescope 环境
version: "3"
services:
flamescope:
image: dalongrong/flamescope
ports:
- "5000:5000"
volumes:
- "./profiles:/profiles"
- 容器运行
一个tomcat 应用,添加了perf-map 挂载
docker run -d -p 8080:8080 -v /perf-map:/perf-map -e JAVA_OPTS='-XX:NativeMemoryTracking=summary -XX:+UnlockDiagnosticVMOptions -XX:+AlwaysPreTouch -XX:+UseG1GC -XX:+PrintGC -XX:+PrintGCDateStamps -XX:+PreserveFramePointer -XX:+PrintGCTimeStamps -XX:+PrintGC -XX:+UnlockDiagnosticVMOptions -XX:+ShowHiddenFrames' tomcat
- 挂载容器文件系统
查看tomcat 的pid,查看
docker inspect <containerid>
参考如下:
docker inspect ed041189bb1b
[
{
"Id": "ed041189bb1badbac2462c2855ccaf2b58d21b03904e20e9242fa017010a89ab",
"Created": "2019-12-24T14:41:13.44200869Z",
"Path": "catalina.sh",
"Args": [
"run"
],
"State": {
"Status": "running",
"Running": true,
"Paused": false,
"Restarting": false,
"OOMKilled": false,
"Dead": false,
"Pid": 8317,
挂载
mkdir -p /opt/mytomcat-perf/
bindfs /proc/8317/root /opt/mytomcat-perf
- 运行perf
支持cgroup 的信息获取
perf record -F 99 -e cpu-clock -e syscalls:* --cgroup=docker/ed041189bb1badbac2462c2855ccaf2b58d21b03904e20e9242fa017010a89ab -ag dwarf -- sleep 120
- 简单压测
ab -n 2000 -c 200 http://127.0.0.1:8080/
- 生成jvm jit perf map 信息
./docker-create-java-perf-map.sh ed041189bb1b 8317
效果
+ container=ed041189bb1b
+ host_pid=8317
++ docker exec ed041189bb1b jps
++ grep -v Jps
++ cut -f 1 -d ' '
+ container_pid=1
+ echo 'Container PID: 1'
Container PID: 1
+ sudo rm -rf /tmp/perf-8317.map
+ docker exec ed041189bb1b /perf-map/bin/create-java-perf-map.sh 1
+ docker exec ed041189bb1b cat /tmp/perf-1.map --
+ sudo chown root:root /tmp/perf-8317.map
- 生成报告
perf script --symfs=/opt/mytomcat-perf --kallsyms=/proc/kallsyms > mytomcat-agent-pef
- flamescope 查看信息
需要先启动
效果
查看火焰图
说明
通过以上比较多的工具,出来了火焰图,但是还是稍有复杂,使用async-profiler 会简单点,文章写的也比较简单,后边还需要仔细研究下
参考资料
https://github.com/chbatey/perf-map-agent
https://github.com/jvm-profiling-tools/async-profiler
https://github.com/jvm-profiling-tools/perf-map-agent
https://github.com/mpartel/bindfs
https://github.com/Netflix/flamescope
http://www.brendangregg.com/linuxperf.html