[转].NET 性能测试工具 -- 事件跟踪器（ETW）

Posted on 2018-08-24 15:25 挥辉阅读(1779) 评论(0) 编辑收藏举报

.NET 性能测试工具 -- 事件跟踪器（ETW）

内容预告：

Windows内置工具（性能计数器）
事件跟踪器（WPT，PerfMoniter，PerfView，自定义ETW）
时间分析
内存分配分析
内存使用量分析
其他分析

Event Tracing for Windows(ETW)可以查看很多内核和CLR的性能数据，如下表所示，有几个工具都是基于ETW开发的，后面会详细介绍：

Kernel	PROC_THREAD	Creation and destruction of processes and threads
Kernel	LOADER	Load and unload of images (DLLs, drivers, EXEs)
Kernel	SYSCALL	System calls
Kernel	DISK_IO	Disk I/O reads and writes (including head location)
Kernel	HARD_FAULTS	Page faults that resulted in disk I/O (not satisfied from memory)
Kernel	PROFILE	Sampling event—a stack trace of all processors collected every 1ms
CLR	GCKeyword	Garbage collection statistics and information	Collection started, collection ended, finalizers run, ~100KB of memory have been allocated
CLR	ContentionKeyword	Threads contend for a managed lock	Contention starts (a thread begins waiting), contention ends
CLR	JITTracingKeyword	Just in time compiler (JIT) information	Method inlining succeeded, method inlining failed
CLR	ExceptionKeyword	Exceptions that are thrown

Windows Performance Toolkit (WPT)是ETW的工具集，捕获ETW事件到日志文件。可以在http://msdn.microsoft.com/en-us/performance/cc752957.aspx 下载。

使用步骤如下：

在环境变量里将_NT_SYMBOL_PATH的值设置到微软的公开符号服务器和本地符号缓存，如C:\Temp\Symbols*http://msdl.microsoft.com/download/symbols
在环境变量里_NT_SYMCACHE_PATH的值设置到一个自定义目录。
打开管理员权限的cmd窗口定位到安装文件夹（如C:\Program Files\Windows Kits\8.0\Windows Performance Toolkit）。
运行xperf -on Base开始跟踪内核数据
随便运行一些程序
停止跟踪，输出日志。xperf -d KernelTrace.etl
打开图形分析器 xperfview KernelTrace.etl

WPT的运用场景是：

捕获硬盘IO操作

提供所有CPU的活动

显示IO，内存，CPU等的叠加图

显示调用栈

最新的Windows SDK8.0包含一些新工具，叫做Windows Performance Recorder (wpr.exe) 和Windows Performance Analyzer (wpa.exe), 是为了替代XPerf 和XPerfView的。wpr -start和xperf -on相同，wpr -stop和xperf -d 一样。WPA分析UI和XPerfView的功能一样，更多信息可以参考 http://msdn.microsoft.com/en-us/library/hh162962.aspx.

XPerfView可以看GC事件的数据：

PerfMonitor是一个开源的控制台工具 http://bcl.codeplex.com/releases/view/49601.

PerfMonitor的优点是可以更细节地分析CLR和JIT。

使用方法如下：

C:\PerfMonitor > perfmonitor runAnalyze JackCompiler.exe
Starting kernel tracing. Output file: PerfMonitorOutput.kernel.etl
Starting user model tracing. Output file: PerfMonitorOutput.etl
Starting at 4/7/2012 12:33:40 PM
Current Directory C:\PerfMonitor
Executing: JackCompiler.exe {
} Stopping at 4/7/2012 12:33:42 PM = 1.724 sec
Stopping tracing for sessions 'NT Kernel Logger' and 'PerfMonitorSession'.
Analyzing data in C:\PerfMonitor\PerfMonitorOutput.etlx
GC Time HTML Report in C:\PerfMonitor\PerfMonitorOutput.GCTime.html
JIT Time HTML Report in C:\PerfMonitor\PerfMonitorOutput.jitTime.html
Filtering to process JackCompiler (1372). Started at 1372.000 msec.
Filtering to Time region [0.000, 1391.346] msec
CPU Time HTML report in C:\PerfMonitor\PerfMonitorOutput.cpuTime.html
Filtering to process JackCompiler (1372). Started at 1372.000 msec.
Perf Analysis HTML report in C:\PerfMonitor\PerfMonitorOutput.analyze.html
PerfMonitor processing time: 7.172 secs.

上面的统计结果包括：

CPU统计，CPU利用率。
GC统计，GC时间，最大GC堆是4.5MB，内存分配速率最高是1496.1MB/秒，平均GC暂停时间是0.1MS。
JIT编译统计，159个函数在运行时被JIT编译，共30493个机器字节。

下图表明CPU做的最多的工作是这3个函数：System.String.Concat, JackCompiler.Tokenizer.Advance, 和System.Linq.Enumerable.Contains

84.2%的CPU时间花在了：JackCompiler.Parser.Parse, 调用了ParseClass, ParseSubDecls, ParseSubDecl, ParseSubBody

下图是一些GC事件的细节统计：

PerfView：一个免费工具，可以分析堆的使用。在http://www.microsoft.com/download/en/details.aspx?id=28567 下载。

上面的报告包括了：

原始的ETW事件列表。
CPU在栈上使用时间的分组。
镜象加载，硬盘IO，GC使用栈的情况。
GC统计。

PerfView还可以生成堆的快照。

自定义 ETW Providers：也可以自己开发基于ETW的性能数据统计工具。.NET4.5之前输出ETW数据相当困难，.NET4.5要容易很多了，继承System.Diagnostics.Tracing.EventSource类然后调用 WriteEvent函数就可以输出了。

public class CustomEventSource : EventSource {
public class Keywords {
public const EventKeywords Loop = (EventKeywords)1;
public const EventKeywords Method = (EventKeywords)2;
}
[Event(1, Level = EventLevel.Verbose, Keywords = Keywords.Loop,
Message = "Loop {0} iteration {1}")]
public void LoopIteration(string loopTitle, int iteration) {
WriteEvent(1, loopTitle, iteration);
}
[Event(2, Level = EventLevel.Informational, Keywords = Keywords.Loop,
Message = "Loop {0} done")]
public void LoopDone(string loopTitle) {
WriteEvent(2, loopTitle);
}
[Event(3, Level = EventLevel.Informational, Keywords = Keywords.Method,
Message = "Method {0} done")]
public void MethodDone([CallerMemberName] string methodName = null) {
WriteEvent(3, methodName);
}
}
class Program {
static void Main(string[] args) {
CustomEventSource log = new CustomEventSource();
for (int i = 0; i < 10; ++i) {
Thread.Sleep(50);
log.LoopIteration("MainLoop", i);
}
log.LoopDone("MainLoop");
Thread.Sleep(100);
log.MethodDone();
}
}

PerfMonitor工具可以自动从程序获得ETW的事件数据：

C:\PerfMonitor > perfmonitor monitorDump Ch02.exe
Starting kernel tracing. Output file: PerfMonitorOutput.kernel.etl
Starting user model tracing. Output file: PerfMonitorOutput.etl
Found Provider CustomEventSource Guid ff6a40d2-5116-5555-675b-4468e821162e
Enabling provider ff6a40d2-5116-5555-675b-4468e821162e level: Verbose keywords:
0xffffffffffffffff
Starting at 4/7/2012 1:44:00 PM
Current Directory C:\PerfMonitor
Executing: Ch02.exe {
} Stopping at 4/7/2012 1:44:01 PM = 0.693 sec
Stopping tracing for sessions 'NT Kernel Logger' and 'PerfMonitorSession'.
Converting C:\PerfMonitor\PerfMonitorOutput.etlx to an XML file.
Output in C:\PerfMonitor\PerfMonitorOutput.dump.xml
PerfMonitor processing time: 1.886 secs.

其实还有一个东西叫做Windows Management Instrumentation (WMI).这里没有提到，它可以获取到系统状态，BIOS固件，等数据。文档见 http://msdn.microsoft.com/en-us/library/windows/desktop/aa394582.aspx

.NET 性能测试工具 -- 事件跟踪器（ETW）

Posted on 2012-12-09 22:03 淡如水wp 阅读(3620) 评论(0) 编辑收藏

内容预告：

Windows内置工具（性能计数器）
事件跟踪器（WPT，PerfMoniter，PerfView，自定义ETW）
时间分析
内存分配分析
内存使用量分析
其他分析

Event Tracing for Windows(ETW)可以查看很多内核和CLR的性能数据，如下表所示，有几个工具都是基于ETW开发的，后面会详细介绍：

Kernel	PROC_THREAD	Creation and destruction of processes and threads
Kernel	LOADER	Load and unload of images (DLLs, drivers, EXEs)
Kernel	SYSCALL	System calls
Kernel	DISK_IO	Disk I/O reads and writes (including head location)
Kernel	HARD_FAULTS	Page faults that resulted in disk I/O (not satisfied from memory)
Kernel	PROFILE	Sampling event—a stack trace of all processors collected every 1ms
CLR	GCKeyword	Garbage collection statistics and information	Collection started, collection ended, finalizers run, ~100KB of memory have been allocated
CLR	ContentionKeyword	Threads contend for a managed lock	Contention starts (a thread begins waiting), contention ends
CLR	JITTracingKeyword	Just in time compiler (JIT) information	Method inlining succeeded, method inlining failed
CLR	ExceptionKeyword	Exceptions that are thrown

Windows Performance Toolkit (WPT)是ETW的工具集，捕获ETW事件到日志文件。可以在http://msdn.microsoft.com/en-us/performance/cc752957.aspx 下载。

使用步骤如下：

在环境变量里将_NT_SYMBOL_PATH的值设置到微软的公开符号服务器和本地符号缓存，如C:\Temp\Symbols*http://msdl.microsoft.com/download/symbols
在环境变量里_NT_SYMCACHE_PATH的值设置到一个自定义目录。
打开管理员权限的cmd窗口定位到安装文件夹（如C:\Program Files\Windows Kits\8.0\Windows Performance Toolkit）。
运行xperf -on Base开始跟踪内核数据
随便运行一些程序
停止跟踪，输出日志。xperf -d KernelTrace.etl
打开图形分析器 xperfview KernelTrace.etl

WPT的运用场景是：

捕获硬盘IO操作

提供所有CPU的活动

显示IO，内存，CPU等的叠加图

显示调用栈

XPerfView可以看GC事件的数据：

PerfMonitor是一个开源的控制台工具 http://bcl.codeplex.com/releases/view/49601.

PerfMonitor的优点是可以更细节地分析CLR和JIT。

使用方法如下：

C:\PerfMonitor > perfmonitor runAnalyze JackCompiler.exe
Starting kernel tracing. Output file: PerfMonitorOutput.kernel.etl
Starting user model tracing. Output file: PerfMonitorOutput.etl
Starting at 4/7/2012 12:33:40 PM
Current Directory C:\PerfMonitor
Executing: JackCompiler.exe {
} Stopping at 4/7/2012 12:33:42 PM = 1.724 sec
Stopping tracing for sessions 'NT Kernel Logger' and 'PerfMonitorSession'.
Analyzing data in C:\PerfMonitor\PerfMonitorOutput.etlx
GC Time HTML Report in C:\PerfMonitor\PerfMonitorOutput.GCTime.html
JIT Time HTML Report in C:\PerfMonitor\PerfMonitorOutput.jitTime.html
Filtering to process JackCompiler (1372). Started at 1372.000 msec.
Filtering to Time region [0.000, 1391.346] msec
CPU Time HTML report in C:\PerfMonitor\PerfMonitorOutput.cpuTime.html
Filtering to process JackCompiler (1372). Started at 1372.000 msec.
Perf Analysis HTML report in C:\PerfMonitor\PerfMonitorOutput.analyze.html
PerfMonitor processing time: 7.172 secs.

上面的统计结果包括：

CPU统计，CPU利用率。
GC统计，GC时间，最大GC堆是4.5MB，内存分配速率最高是1496.1MB/秒，平均GC暂停时间是0.1MS。
JIT编译统计，159个函数在运行时被JIT编译，共30493个机器字节。

下图表明CPU做的最多的工作是这3个函数：System.String.Concat, JackCompiler.Tokenizer.Advance, 和System.Linq.Enumerable.Contains

84.2%的CPU时间花在了：JackCompiler.Parser.Parse, 调用了ParseClass, ParseSubDecls, ParseSubDecl, ParseSubBody

下图是一些GC事件的细节统计：

PerfView：一个免费工具，可以分析堆的使用。在http://www.microsoft.com/download/en/details.aspx?id=28567 下载。

上面的报告包括了：

原始的ETW事件列表。
CPU在栈上使用时间的分组。
镜象加载，硬盘IO，GC使用栈的情况。
GC统计。

PerfView还可以生成堆的快照。

public class CustomEventSource : EventSource {
public class Keywords {
public const EventKeywords Loop = (EventKeywords)1;
public const EventKeywords Method = (EventKeywords)2;
}
[Event(1, Level = EventLevel.Verbose, Keywords = Keywords.Loop,
Message = "Loop {0} iteration {1}")]
public void LoopIteration(string loopTitle, int iteration) {
WriteEvent(1, loopTitle, iteration);
}
[Event(2, Level = EventLevel.Informational, Keywords = Keywords.Loop,
Message = "Loop {0} done")]
public void LoopDone(string loopTitle) {
WriteEvent(2, loopTitle);
}
[Event(3, Level = EventLevel.Informational, Keywords = Keywords.Method,
Message = "Method {0} done")]
public void MethodDone([CallerMemberName] string methodName = null) {
WriteEvent(3, methodName);
}
}
class Program {
static void Main(string[] args) {
CustomEventSource log = new CustomEventSource();
for (int i = 0; i < 10; ++i) {
Thread.Sleep(50);
log.LoopIteration("MainLoop", i);
}
log.LoopDone("MainLoop");
Thread.Sleep(100);
log.MethodDone();
}
}

PerfMonitor工具可以自动从程序获得ETW的事件数据：

C:\PerfMonitor > perfmonitor monitorDump Ch02.exe
Starting kernel tracing. Output file: PerfMonitorOutput.kernel.etl
Starting user model tracing. Output file: PerfMonitorOutput.etl
Found Provider CustomEventSource Guid ff6a40d2-5116-5555-675b-4468e821162e
Enabling provider ff6a40d2-5116-5555-675b-4468e821162e level: Verbose keywords:
0xffffffffffffffff
Starting at 4/7/2012 1:44:00 PM
Current Directory C:\PerfMonitor
Executing: Ch02.exe {
} Stopping at 4/7/2012 1:44:01 PM = 0.693 sec
Stopping tracing for sessions 'NT Kernel Logger' and 'PerfMonitorSession'.
Converting C:\PerfMonitor\PerfMonitorOutput.etlx to an XML file.
Output in C:\PerfMonitor\PerfMonitorOutput.dump.xml
PerfMonitor processing time: 1.886 secs.

关于托管调试和性能优化的工具

2014-11-13 22:34 by 周信达, 699 阅读, 0 评论, 收藏, 编辑

最近一个礼拜，一直在看一些调试和性能相关的东西，因为公司的产品主要瓶颈就在这些地方，于是觉得很有必要去了解一下这方面的东西。插个小话题，话说今天.NET官方公布将整个.NET框架开源，这实在是一个重磅消息，几家欢喜几家愁，各路欢笑各路口水。不管如何，自己作为一个陪伴着.NET多年的开发者，还是对它有感情的（好吧有点矫情），不过话说回来，我不知道微软原来闭源是有何种商业目的和战略计划，但是，微软的.NET在背负着不叫好的口水中，在商业上的挫败中，即便如此都是一如既往地投入大量精力在.NET的建设上，包括从半开源一直走到今天的开源，不管怎样，这个态度还是可以的，虽然它来得有点太晚了。况且，.NET程序是到了该改变思维的时候了，额话说的有点多，上正题吧

调试工具篇

Windows调试工具集（Debugging Tools for Windows）

工具集中包含Windbg、NTSD、CDB
http://msdn.microsoft.com/en-us/windows/hardware/hh852365
单独下载地 Debuggers (x86) Debuggers (x64)
Debugging Tools for Windows MSDN Help
功能：主要针对非托管程序的调试
http://www.cnblogs.com/awpatp/archive/2010/05/30/1747736.html

Windows调试器扩展（Debugger Extension）

SOS（.NET版本自带，可以集成到VS中使用）
SOSEX for .NET
PssCor4

CLR Profiler（主要对内存分配情况进行监视和分析）
PowerDbg
MDA（Manage Debugger Assistant）
MDbg.exe（.NET Framework 命令行调试程序）
.NET Memory Profiler

性能工具篇

性能计数器（Performance Counter）

系统自带

CLR Profiler（主要对内存分配情况进行监视和分析）
Visual Studio自带的性能分析器
JetBrains dotTrace
ANTS Performance Profiler
.NET Memory Profiler
Event Trace for Windows（ETW）
Windows Performance Toolkit（WPT）
PerfMonitor
PerfView
Visual Studio Sampling Profiler
Visual Studio Allocation Profiler
ANTS Memory Profiler
SciTech .NET Memory Profiler
Concurrency Visualizer
Concurrency Profiler
I/O Profilers
BCL PerfMonitor

数据库工具篇

data access profilers
database profilers
SQL Server Profiler
RedGate ANTS Performance Profiler
Visual Studio “Tier Interactions” profiling feature
LINQ to SQL Profiler
Entity Framework Profiler
NHibernate Profiler

附：

引用

《Pro .NET Performance Optimize Your C# Application》

《Advanced .NET Debugging》

《Windows高级调试》

结语

调试和性能是混为一体的，通常我们都要深入到程序的内部，尤其是当工程规模较大的时候，往往我们通过简单的Code Review或者简易的Debug难以定位问题，此时我们就要借助于一些工具了，所谓工欲善其事必先利其器。通常我们诊断时基本上关注与类型使用、异常处理、垃圾回收、线程处理、并发处理等等。其实这里面列出的大部分工具我本人都没有使用过，在实践中使用过一部分在平时学习的时候也研究过一小部分，列出来主要是作个记录，方便以后可以翻出来再使用和评测

刷新页面返回顶部

我思故我在我有我精彩--liangqihui

公告