网站测试自动化系统—在测试代码中硬编码测试数据
2012-07-30 15:49 知平软件 阅读(1467) 评论(0) 编辑 收藏 举报在前面的文章数据驱动测试里，讲到了将测试数据以及表现测试步骤的代码分开的技术。从测试的角度来看，固然希望能够覆盖的测试场景越多越好，但是在设计和编写自动化测试代码的时候，却又可以事先设计好一些固定的测试数据简化自动化测试代码的编写工作。
之所以要这样做（按照编程的术语讲是硬编码），是因为按照等价类划分，固定的测试数据一般都已经被其他测试用例覆盖了。请考虑下面这个例子，假设你要测试一个博客网站（例如博客园）的文章评论功能，例如测试禁用一篇文章的评论功能，或者是测试文章作者删除评论的功能。按照正常的流程，肯定是需要先编码发布一篇文章，然后再编码指定的评论功能测试用例。这样的流程有以下几个缺点：
1. 需要冗余的编码，因为每个评论测试用例的代码都要包含发布文章的步骤，在编程里面，我们都是极力推荐，什么只要代码在不同的地方重复两次，就要考虑是否将它封装成一个函数之类的理念。这种包含冗余编码的方式是我们在测试过程中极力要避免地，否则，程序员可能哪天心情很好，重构一下代码，破坏了一些网页的HTML结构—但是从用户的角度来看又没有任何区别；这种代码重构，作为测试人员只能跟着程序员的代码重构，修改测试代码，那个时候，你当然会希望改的地方越少越好啦。
对于这个缺点，可能有人要说，在前面的文章“网站测试自动化系统—基于Selenium和VSTT”，创建博客的测试步骤不是已经被有效地封装成一个函数了吗，为什么还会说有冗余？这是因为在自动化测试过程中， 测试人员会定期（一些高规格的软件开发团队要求每天）将所以编写完毕的测试代码批量执行一遍，这就涉及到对于任何测试用例编码都非常重要的两个原则：
1) 一个测试用例可以独自执行成功，就是说如果是单独执行这一个测试用例的话，这个测试用例是可以执行成功的—否则就是产品编码的失误（Bug）。举个例子，你正要编码测试一个管理博客文章的功能，这个功能通常来说都是登录用户才可以使用的。然而，也许你刚刚编码完毕一个登录方面的测试用例，而且用例执行完毕的时候，没有执行注销操作。这个时候你不能想当然地以为下一个测试用例一定就是你现在正在编码的文章管理的测试用例。
因为测试人员既保留有将多个测试用例任意排列执行的权力，也可以选择单独执行这一个测试用例—比如程序员刚刚重构了文章管理功能的代码，为了节省测试时间，测试人员可能会选择只执行文章管理方面的测试用例。所以不要将自己的命运寄托在别人手里。即除了整个团队都公认的前提以外，不要相信任何前提。
2) 测试用例可以在任意排列的用例序列中执行通过，因此测试代码应该尽量保护测试环境。举个例子，你设计了一个管理用户权限的测试用例，一般来说这种功能只有管理员才有权限操作的。然而，也许另一个粗心大意的测试工程师编码了一个测试删除用户的用例，恰好将管理员删除了，而你的用例正好在他的用例之后执行……己所不欲，勿施于人，既然你不希望碰到这种情况，那么在编码自己的测试用例之前也应该避免类似的事情发生。
回过头来再举评论管理测试用例的设计，于是你的几个测试代码可能看起来像下面这样：
|
[TestMethod] public void BlogCommentIsDisabled() { TestLibrary.UserHelper.LogOnAsAdmin(); var blog = TestLibrary.BlogHelper.CreateBlog("博客文章标题", "文章内容"); // 去管理文章的网页 TestLibrary.BlogHelper.ManageArticles(); // 在文章管理的网页的文章列表里依次查找标题为 // "博客文章标题"的文章连接, var blogListItem = TestLibrary.BlogHelper.FindBlog(blog.Title); // 并且在网页上点击"浏览" 这个链接，打开阅读文章的网页 blogListItem.View(); // 评论这篇文章 TestLibrary.BlogHelper.Comment(blog); // 然后执行一些验证判断评论功能的确被禁用掉了 // ... }
[TestMethod] public void DeleteBlogComment() { TestLibrary.UserHelper.LogOnAsAdmin(); var blog = TestLibrary.BlogHelper.CreateBlog("博客文章标题", "文章内容"); // 去管理文章的网页 TestLibrary.BlogHelper.ManageArticles(); // 在文章管理的网页的文章列表里依次查找标题为 // "博客文章标题"的文章连接, var blogListItem = TestLibrary.BlogHelper.FindBlog(blog.Title); // 并且在网页上点击"浏览" 这个链接，打开阅读文章的网页 blogListItem.View(); // 评论这篇文章 var comment = TestLibrary.BlogHelper.Comment(blog); // 找到刚才的评论、删除评论，然后执行验证确定 // 评论被删除掉 } |
每个测试用例单独执行的时候，都不会有任何问题，但是两个放在一起执行的时候，问题就来了，两个用例创建了同名的文章，这样就直接导致测试结果的不稳定。为了解决这个问题，也许有人会创建一个随机生成文章标题的帮助类（Helper Class），这种编码的难度很大，因为需要确保文章的标题永远是唯一的（或许可以考虑Guid？）。
2. 节省测试的时间，在用例中执行过多的步骤也会增加测试时间。虽然测试团队都会在晚上批量执行自动化测试用例，但是在产品开发的过程当中，测试用例通过率不能达到100%是很正常的。对于每一个失败的测试用例，测试人员都要分析失败的原因—判断是产品的缺陷导致的，还是由于测试代码本身的问题引起的。额外的测试步骤也会相应地增加测试人员分析失败的时间（一般测试人员都会重新执行一遍测试代码来找出问题原因）。
3. 增加不必要的测试用例失败，测试可以分好几块，一种是功能测试，也就是验证产品的功能是否可以正常工作；一种是压力测试，即测试产品在极端情况下的执行情况；还有其他的例如性能测试，国际化测试等等。一般来说，不同的测试都会有自己的自动化测试用例集合。如果在功能测试当中，用例代码在系统里面添加了很多冗余数据，执行的测试用例多了，必然导致网站的性能和反应速度会有所下降。而在测试代码中，一般都会在执行一步操作以后，等待一段时间—等网页的内容刷新。网站反应速度的下降，直接导致测试失败。例如本来在编写测试代码的时候，3秒钟肯定会刷新的网页，在测试执行的环境中，因为过多的冗余数据，30秒可能都打不开一个网页。当然啦，网站反应速度的下降肯定是产品代码的缺陷，但是不应该将压力测试和功能测试混合起来做。
因此，我个人建议，在测试过程中，例如前面举的评论功能的测试中，完全可以事先在网站的数据库中先创建好一篇或多篇专门用来做评论测试的文章。而每天晚上，在大规模执行自动化测试用例之前，编写一个小的脚本，将网站的数据库替换成这个基准数据库。
又比如，为了测试用户权限管理的功能，完全可以事先在网站的数据库当中先准备好一个管理员帐号，这个管理员帐号和密码可以当作一个常量，然后测试代码里都使用这个帐号来执行权限管理的测试。例如下面的代码：
|
public class Consts { public const string TimeToWaitForPageToLoad = "30000";
public const string AdminUserName = "administrator";
public const string AdminPassword = "0123456"; }
public class UserHelper : UIHelperBase { public UserHelper(TestLibrary settings) : base(settings) { }
public void LogOnAsAdmin() { LogOn(TestLibrary.Consts.AdminUserName, TestLibrary.Consts.AdminPassword); }
public void LogOn(string username, string password) { if (String.IsNullOrEmpty(username)) throw new CaseErrorException(new ArgumentNullException("username")); if (String.IsNullOrEmpty(password)) throw new CaseErrorException(new ArgumentNullException("password"));
selenium.Open("/"); Thread.Sleep(2000); if (selenium.IsElementPresent("link=Log On")) { selenium.Click("link=Log On"); } if (selenium.IsElementPresent("link=Login")) { selenium.Click("link=Login"); } selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad); selenium.Type("username", username); selenium.Type("password", password); selenium.Click("//input[@value='Log On']"); selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad); } } |
在上面的代码中，我也把等待网页刷新的时间设置成常量。对于在测试代码中使用事先在基准数据库中准备的测试数据，需要一点编程技巧。请先看下面的代码，下面的代码是一段记录通过网页操作创建文章的代码：
|
public class Blog : UIHelperBase { // 博客的标题 public string Title { get; private set; }
// 博客的超链接 public string Permalink { get; private set; }
// 博客的超链接文本 public string MenuText { get; private set; }
public string Owner { get; private set; }
public Blog(TestLibrary settings, string title, string permalink, string menutext, string owner) : base(settings) { Title = title; Permalink = permalink; MenuText = menutext; Owner = owner; }
// 通过网页界面的操作创建一篇新文章 // // PostSetting是一个结构,包含了一篇新文章的所有元素, // 例如文章标题,内容等等. public Post CreatePost(PostSettings settings) { if (settings == null) throw new CaseErrorException(new ArgumentNullException("settings")); if (!String.IsNullOrEmpty(settings.Body)) throw new CaseErrorException("Set post body is not implemented yet!"); if (settings.PublishDateTime.HasValue) throw new CaseErrorException("PublishDateTime is not implemented yet!");
// selenium这个变量,你可以想象成是一个正在浏览网页的网友的封装 selenium.Open("/"); selenium.Click("link=Admin"); selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad); selenium.Click("link=Manage Blogs"); selenium.WaitForPageToLoad("60000"); selenium.Click(String.Format("link={0}", Title)); selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad); selenium.Click("link=New Post"); selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad); selenium.Type("Routable_Title", settings.Title); selenium.Type("Tags", settings.Tags);
if (settings.Permalink != null) selenium.Type("Routable_Slug", settings.Permalink); if (settings.DisableNewComments) selenium.Click("CommentsActive");
if (settings.PublishSetting == PostSettings.PublishSettings.PublishNow) selenium.Click("Command_PublishNow"); else if ( settings.PublishSetting == PostSettings.PublishSettings.PublishLater ) throw new CaseErrorException("PublishLater is not implemented yet!");
selenium.Click("submit.Save"); selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);
return new Post(TestSettings, settings, this); } }
public class PostSettings { public enum PublishSettings { SaveDraft, PublishNow, PublishLater }
public string Title { get; set; }
public string Permalink { get; set; }
public string Body { get; set; }
public string Tags { get; set; }
public bool DisableNewComments { get; set; }
public PublishSettings PublishSetting { get; set; }
public DateTime? PublishDateTime { get; set; } }
public class Post : UIHelperBase { // 当初创建文章的原始详细信息 public PostSettings Settings { get; private set; }
// 文章的标题 – 从网页上获取 public string Title { get { return selenium.Read(...); } }
// 下面省略文章相关的操作若干 // ...
public Post(TestLibrary settings, PostSettings postSettings, Blog blog) : base(settings) { Settings = postSettings; ContainerBlog = blog; }
// 下面省略文章相关的操作若干 // ...
} |
从上面的代码中，你可以观察到，Post的属性，除了Settings属性以外，其他的属性都是从网页上直接读取的—当然是假设当前网页正在显示对应的文章。因此，要将基准数据库集成到自动化测试代码中来，只要实例化一个PostSettings变量就好了。TestLibrary是 负责连接到Selenium-RC，并保存对应连接的类。下面的代码演示了这个思想：
|
public class TestLibrary { public UserHelper UserHelper { get; private set; }
public BlogHelper BlogHelper { get; private set; }
public CommentHelper CommentHelper { get; private set; }
public Blog DefaultBlog { get; private set; }
public Post DefaultPost { get; private set; }
public ISelenium Selenium { get; private set; }
public string SiteUrl { get; private set; }
public class Consts { public const string TimeToWaitForPageToLoad = "30000";
public const string AdminUserName = "administrator";
public const string AdminPassword = "0123456"; }
public TestLibrary(ISelenium selenium) { this.UserHelper = new UserHelper(this); this.BlogHelper = new BlogHelper(this); this.CommentHelper = new CommentHelper(this); Selenium = selenium;
InitialDefaultSiteDate(); }
private void InitialDefaultSiteDate() { DefaultBlog = new Blog(this, "Default Test Blog", "default-test-blog", "Default Test Blog", Consts.AdminUserName); DefaultPost = new Post(this, new PostSettings() { Title = "Default Test Post", Permalink = "default-test-post", Body = "This is for web site testing purpose.", Tags = "Test", PublishSetting = PostSettings.PublishSettings.PublishNow }, DefaultBlog); } } |
下面是TestLibrary的完整源代码：
|
public class TestLibrary { public UserHelper UserHelper { get; private set; }
public BlogHelper BlogHelper { get; private set; }
public CommentHelper CommentHelper { get; private set; }
public Blog DefaultBlog { get; private set; }
public Post DefaultPost { get; private set; }
public ISelenium Selenium { get; private set; }
public string SiteUrl { get; private set; }
public class Consts { public const string TimeToWaitForPageToLoad = "30000";
public const string AdminUserName = "administrator";
public const string ContributorUser = "Contributor1";
public const string AuthorUser = "Author1";
public const string ModeratorUser = "Moderator1";
public const string EditorUser = "Editor1";
public const string CommonPassword = "0123456";
public const string AdminPassword = "0123456";
public const string DefaultSeleniumHost = "localhost";
public const int DefaultSeleniumPort = 4444;
public const string DefaultBrowser = "*firefox";
public const string DefaultSite = "http://localhost:30320"; }
public TestLibrary(ISelenium selenium) { this.UserHelper = new UserHelper(this); this.BlogHelper = new BlogHelper(this); this.CommentHelper = new CommentHelper(this); Selenium = selenium;
InitialDefaultSiteDate(); }
private void InitialDefaultSiteDate() { DefaultBlog = new Blog(this, "Default Test Blog", "default-test-blog", "Default Test Blog", Consts.AdminUserName); DefaultPost = new Post(this, new PostSettings() { Title = "Default Test Post", Permalink = "default-test-post", Body = "This is for web site testing purpose.", Tags = "Test", PublishSetting = PostSettings.PublishSettings.PublishNow }, DefaultBlog); }
public static TestLibrary SetupTest(TestContext testContext) { if (testContext != null && testContext.DataRow != null && testContext.DataRow.Table.Columns.Contains("seleniumHost")) { return SetupTest(testContext.DataRow["seleniumHost"].ToString(), Int32.Parse(testContext.DataRow["seleniumPort"].ToString()), testContext.DataRow["browser"].ToString(), testContext.DataRow["site"].ToString()); } else { return SetupTest(Consts.DefaultSeleniumHost, Consts.DefaultSeleniumPort, Consts.DefaultBrowser, Consts. DefaultSite); } }
public static TestLibrary SetupTest(string seleniumHost, int seleniumPort, string browser, string site) { var selenium = new DefaultSelenium( seleniumHost, seleniumPort, browser, site); selenium.Start();
return new TestLibrary(selenium) { SiteUrl = site }; }
public void Shutdown() { try { Selenium.Stop(); } catch (Exception) { // Ignore errors if unable to close the browser } } } |
未完待续……
