网站测试自动化系统—收集测试结果

在前面的文章执行测试用例里，已经解释了如何通过命令行来编译和执行测试用例，这样我们才有机会通过批处理的方式来将执行测试用例自动化。而我在文章系统应该有的功能里，也讲到了一个完整的自动化系统应该是能够自动收集测试结果的—毕竟我们的远景是，测试人员在晚上下班前将用例执行起来，然后在第二天上午就可以直接看测试报告了。

一般来说，测试报告需要包含以下几个信息：

1.         测试用例的通过率，通过率代表产品的稳定程度，当然这是在排除了测试用例本身的问题引起的测试失败（Test Failure）得到的通过率。前面执行测试用例里提到到的MsTest.exe生成的结果文件.trx文件就已经保存了这个信息，在资源管理器里面双击这个文件，就能看到类似下图的结果：

 

 

 

在上图里面，可能会有细心的读者发现里面只有3个用例，但是红圈里面标出的文字却说：“6/6 passed”，这是因为这3个用例当中有数据驱动的用例，VSTT把每一行数据都当作一个独立的测试用例。关于数据驱动测试，可以参看我的这篇文章：网站自动化测试系统—数据驱动测试。

 

2.         代码覆盖率信息，代码覆盖率告诉测试团队有哪些产品代码没有被覆盖到，没有覆盖到的产品代码意味着有一些用户场景我们没有考虑到，或者说测试覆盖面上有一些漏洞（Testing Hole）。如果是从VSTT用户界面上执行测试用例的话，VSTT已经自动集成了收集代码覆盖率的功能，做法请参看我的文章软件自动化测试—代码覆盖率。在这篇文章里，我将告诉你如何使用命令行做到收集代码覆盖率。

至少有两种方法将收集代码覆盖率的功能整合到自动化测试系统当中，一种是通过直接编辑.testrunconfig文件，这也是我们在VSTT用户界面操作时，VSTT 背地里帮我们做的事情，使用.testrunconfig文件的方法请参考文章执行测试用例。

另外一种方法，是更深入的分解，实际上Visual Studio收集代码覆盖率是通过一个叫做VsPerfMon.exe的程序来收集的，这个程序位于C:\Program Files\Microsoft Visual Studio 9.0\Team Tools\Performance Tools（假设VSTT安装在C盘）。当你按照软件自动化测试—代码覆盖率里介绍的步骤执行自动化测试的时候，VSTT背地里做了下面几件事情：

1.         注入用于统计代码覆盖率的代码（instrument），注入的代码在文章软件自动化测试—代码覆盖率里已经有过讲解，这里不再说了。代码注入是通过vsinstr.exe来实现的，下面是使用它进行代码注入最简化的命令（接受任何.Net程序—即.dll和.exe文件，是否支持原生C++程序我还没有尝试过）：

 

Vsinstr.exe –coverage image.dll

 

Vsinstr.exe除了在程序里面注入代码以外，还要修改程序的符号文件（.pdb文件），之所以这样做，是因为程序被注入代码以后，就不和注入前的符号文件匹配了。使用不匹配的符号文件，将会导致后面浏览代码覆盖率结果时，我们没有办法查看详细的代码覆盖信息—即哪些行的代码被覆盖了，哪些代码没有覆盖。符号文件的作用请参考文章Visual Studio调试之符号文件。

 

如果要给网站 bin文件夹里面所有的程序执行代码注入操作的话，可以使用下面这个简单的命令来完成：

 

for %f in (*.dll) do vsinstr.exe –nowarn –coverage “%f”

 

for命令的用法，请查看Windows帮助文件里面的批处理一章；%f使用引号括起来是避免%f代码的文件路径包含空格的情况；-nowarn这个参数告诉vsinstr不要输出警告信息了，因为懒得看， :)

 

2.         代码注入完成以后，启动vsperfmon.exe。在整个执行测试用例的过程中，vsperfmon.exe会在后台持续运行，收集代码覆盖率信息。你可能会奇怪，这个程序的名字怎么叫做perfmon？而不是使用什么covermon之类的名字，这是因为vsperfmon.exe本来就是用来做性能测试的，只不过是兼职收集代码覆盖率罢了。

 

启动vsperfmon.exe的命令很简单：

vsperfmon.exe /START:COVERAGE /OUTPUT:result.coverage /CS

 

上面的参数解释一下：

参数	说明
/START:COVERAGE	告诉vsperfmon进行代码覆盖率的收集。
/OUTPUT	保存结果的文件路径，可以是绝对路径或者相对路径，最好将后缀名设置为.coverage，这样你可以直接通过资源管理器里面双击在Visual studio中打开这个文件。
/CS	CS是CrossSession的简写。 Session的意思有必要解释一下，Windows 从Windows 2000以后是一个多用户，多任务的操作系统（不知道NT是不是）。而Windows 95/98/Me不是多用户多任务操作系统，它们只是单用户多任务操作系统。多用户的意思是多个用户可以同时登录同一台主机（通过远程登录系统，mstsc.exe），操作系统会在这多个同时进行独立操作的用户当中执行有效的进程分离。虽然你可以在Windows 95/98/Me设置多个用户，但是这多个用户不能同时登录同一台机器，必须要等另外一个用户注销（LogOff）才能登录这台机器。   每个用户登录到Windows操作系统时，Windows以Session（会话）的概念来描述它，一个用户可以有多个Session，例如这个用户可以从物理上直接登录主机，这个Session叫做Console Session；这个用户同时也可以通过远程登录来操作这台主机，这又是另外一个Session。   之所以要在这里花很大的篇幅去描述Session，是因为如果我们在IIS里面启动网站时，IIS的应用程序池（Application Pool）需要你指定一个用户用于访问数据库、文件系统等资源，这个会话（Session）不会使用控制台会话（Console Session），因此一般来说，即使IIS的应用程序池使用的用户与当前执行测试用例的用户是同一个用户，也是在使用不同的会话。   在Windows Vista和Windows Server 2008以后，大部分Windows服务（当然也包括IIS提供的W3C服务）都是在第0会话（Session 0）当中运行，目的是为了更好地将Windows服务与其他进程分隔开来。而第一个登录Windows Vista或Windows Server 2008的用户的会话标识号是1，而不象以前那样是0了。如下图所示：     在Vista之前，Windows服务（比如运行Asp.Net网站的IIS的W3C服务）和普通用户的进程（比如vsperfmon.exe）是运行在同一个会话里，两个进程之间交流消息只要用SendMessage或者PostMessage这个API就可以了。   但是在Vista之后，由于服务进程和普通用户进程不是在同一个会话里，所以就需要用命名管道（Named Pipeline）等IPC机制来执行交互了。/CS选项就是告诉vsperfmon.exe关注在其他会话里执行的进程的代码覆盖率信息。

 

3.         当所有的测试用例都执行完毕以后，VSTT关闭被测试的进程。因为在收集代码覆盖率信息时，vsperfmon是和被统计的进程直接进行交互的；在保存覆盖率信息时，它需要等被收集的进程关闭以后，才能执行保存操作。如果测试时，你的网站是运行在IIS里的，你需要使用下面的命令关闭IIS：

 

iisreset /stop

（启动iis的命令时iisreset /start）

 

如果你没有安装IIS，但是你会发现在VSTS直接按下F5运行网站时，网站照样能运行，那是因为VSTS自带了一个支持Asp.Net的Web服务器WebDev.WebServer.EXE。这个程序保存在文件夹C:\Program Files\Common Files\microsoft shared\DevServer\9.0（假设你的系统盘是C，并且安装的是VSTS 2008版本）里面。

 

当你在VSTS里面运行网站的时候，Visual Studio采用下面的命令启动网站：

Webdev.webserver /path:<网站的物理路径> /port:<网站的端口> /vpath:/

 

如果是使用webdev.webserver运行网站的话，在命令行关闭这个程序的命令是（实际上是干掉这个程序）：

taskkill /im WebDev.WebServer.EXE

 

4.         VSTT执行下面的命令关闭vsperfmon.exe，vsperfmon.exe将搜集到的代码覆盖率保存到指定的文件当中。

 

vsperfmon.exe /shutdown

 

备注：vsperfmon.exe默认情况下只能收集同一个用户运行的进程的代码覆盖率信息，如果你是将asp.net网站放在iis里面进行测试，默认情况下，运行这个网站的应用程序池（application pool）的用户是NetworkService，这种情况下，要么用vsperfmon.exe的/USER选项指定NetworkService这个用户。要么将应用程序池的用户改成执行vsperfmon.exe的那个用户。

基本上一个测试自动化系统讲的差不多了，下一篇讲如何复用现有的自动化测试代码自动生成测试用例。

未完待续……