linux gtest之primer
Google C++ Testing Framework Primer
翻译:Ray Li (ray.leex@gmail.com)
修改日期:2008年7月6日
原文参见:http://code.google.com/p/googletest/wiki/GoogleTestPrimer
翻译原文:http://ray-leex.iteye.com/blog/212024
Introduction:为什么需要Google C++ 测试框架?
Google C++ 测试框架帮助你更好地编写C++测试。
无论你是在Linux,Windows,还是Mac环境下工作,只要你编写C++代码,Google 测试框架都可以帮上忙。
那么,哪些因素才能构成一个好的测试?以及,Google C++ 测试框架怎样满足这些因素?我们相信:
- 测试应该是独立、可重复的。因为其他测试成功或失败而导致我们要对自己的测试进行debug是非常痛苦的。Google C++ 测试框架通过将每个测试在不同的对象中运行,使得测试分离开来。当一个测试失败时,Google C++ 测试框架允许你独立运行它以进行快速除错。
- 测试应该能够被很好地组织,并反映被测代码的结构。Google C++ 测试框架将测试组织成测试案例,案例中的测试可以共享数据和程序分支。这样一种通用模式能够很容易辨识,使得我们的测试容易维护。当开发人员在项目之间转换,开始在一个新的代码基上开始工作时,这种一致性格外有用。
- 测试应该是可移植、可重用的。开源社区有很多平台独立的代码,它们的测试也应该是平台独立的。除开一些特殊情况,Google C++ 测试框架运行在不同的操作系统上、与不同的编译器(gcc、icc、MSVC)搭配,Google C++ 测试框架的测试很容易与不同的配置一起工作。
- 当测试失败时,应该提供尽可能多的、关于问题的信息。Google C++ 测试框架在第一个测试失败时不会停下来。相反,它只是将当前测试停止,然后继续接下来的测试。你也可以设置对一些非致命的错误进行报告,并接着进行当前的测试。这样,你就可以在一次“运行-编辑-编译”循环中检查到并修复多个bug。
- 测试框架应该能将测试编写人员从一些环境维护的工作中解放出来,使他们能够集中精力于测试的内容。Google C++ 测试框架自动记录下所有定义好的测试,不需要用户通过列举来指明哪些测试需要运行。
- 测试应该快速。使用Google C++ 测试框架,你可以重用多个测试的共享资源,一次性完成设置/解除设置,而不用使一个测试去依赖另一测试。
因为Google C++ 测试框架基于著名的xUnit架构,如果你之前使用过JUnit或PyUnit的话,你将会感觉非常熟悉。如果你没有接触过这些测试框架,它也只会占用你大约10分钟的时间来学习基本概念和上手。所以,让我们开始吧!
Note:本文偶尔会用“Google Test”来代指“Google C++ 测试框架”。
基本概念
使用Google Test时,你是从编写断言开始的,而断言是一些检查条件是否为真的语句。一个断言的结果可能是成功、非致命失败,或者致命失败。如果一个致命失败出现,他会结束当前的函数;否则,程序继续正常运行。
测试使用断言来验证被测代码的行为。如果一个测试崩溃或是出现一个失败的断言,那么,该测试失败;否则该测试成功。
一个测试案例(test case)包含了一个或多个测试。你应该将自己的测试分别归类到测试案例中,以反映被测代码的结构。当测试案例中的多个测试需要共享通用对象和子程序时,你可以把他们放到一个测试固件(test fixture)类中。
一个测试程序可以包含多个测试案例。
从编写单个的断言开始,到创建测试和测试案例,我们将会介绍怎样编写一个测试程序。
断言
Google Test中的断言是一些与函数调用相似的宏。要测试一个类或函数,我们需要对其行为做出断言。当一个断言失败时,Google Test会在屏幕上输出该代码所在的源文件及其所在的位置行号,以及错误信息。也可以在编写断言时,提供一个自定义的错误信息,这个信息在失败时会被附加在Google Test的错误信息之后。
断言常常成对出现,它们都测试同一个类或者函数,但对当前功能有着不同的效果。ASSERT_*版本的断言失败时会产生致命失败,并结束当前函数。EXPECT_*版本的断言产生非致命失败,而不会中止当前函数。通常更推荐使用EXPECT_*断言,因为它们运行一个测试中可以有不止一个的错误被报告出来。但如果在编写断言如果失败,就没有必要继续往下执行的测试时,你应该使用ASSERT_*断言。
因为失败的ASSERT_*断言会立刻从当前的函数返回,可能会跳过其后的一些的清洁代码,这样也许会导致空间泄漏。根据泄漏本身的特质,这种情况 也许值得修复,也可能不值得我们关心——所以,如果你得到断言错误的同时,还得到了一个堆检查的错误,记住上面我们所说的这一点。
要提供一个自定义的错误消息,只需要使用<<操作符,或一个<<操作符的序列,将其输入到框架定义的宏中。下面是一个例子:
- ASSERT_EQ(x.size(), y.size()) << "Vectors x and y are of unequal length";
- for (int i = 0; i < x.size(); ++i) {
- EXPECT_EQ(x[i], y[i]) << "Vectors x and y differ at index " << i;
- }
任何能够被输出到ostream中的信息都可以被输出到一个断言宏中——特别是C字符串和string对象。如果一个宽字符串 (wchar_t*,windows上UNICODE模式TCHAR*或std::wstring)被输出到一个断言中,在打印时它会被转换成UTF-8 编码。
基本断言
下面这些断言实现了基本的true/false条件测试。
致命断言 | 非致命断言 | 验证条件 |
ASSERT_TRUE(condition); | EXPECT_TRUE(condition); | condition为真 |
ASSERT_FALSE(condition); | EXPECT_FALSE(condition); | condition 为假 |
记住,当它们失败时,ASSERT_*产生一个致命失败并从当前函数返回,而EXCEPT_*产生一个非致命失败,允许函数继续运行。在两种情况下,一个断言失败都意味着它所包含的测试失败。
有效平台:Linux、Windows、Mac。
二进制比较
本节描述了比较两个值的一些断言。
致命断言 | 非致命断言 | 验证条件 |
ASSERT_EQ(expected, actual); | EXPECT_EQ(expected, actual); | expected == actual |
ASSERT_NE(val1, val2); | EXPECT_NE(val1, val2); | val1 != val2 |
ASSERT_LT(val1, val2); | EXPECT_LT(val1, val2); | val1 < val2 |
ASSERT_LE(val1, val2); | EXPECT_LE(val1, val2); | val1 <= val2 |
ASSERT_GT(val1, val2); | EXPECT_GT(val1, val2); | val1 > val2 |
ASSERT_GE(val1, val2); | EXPECT_GE(val1, val2); | val1 >= val2 |
在出现失败事件时,Google Test会将两个值(Val1和Val2)都打印出来。在ASSERT_EQ*和EXCEPT_EQ*断言(以及我们随后介绍类似的断言)中,你应该把你希望测试的表达式放在actual(实际值)的位置上,将其期望值放在expected(期望值)的位置上,因为Google Test的测试消息为这种惯例做了一些优化。
参数值必须是可通过断言的比较操作符进行比较的,否则你会得到一个编译错误。参数值还必须支持<<操作符来将值输入到ostream中。所有的C++内置类型都支持这一点。
这些断言可以用于用户自定义的型别,但你必须重载相应的比较操作符(如==、<等)。如果定义有相应的操作符,推荐使用ASSERT_*()宏,因为它们不仅会输出比较的结果,还会输出两个比较对象。
参数表达式总是只被解析一次。因此,参数表达式有一定的副作用(side effect,这里应该是指编译器不同,操作符解析顺序的不确定性)也是可以接受的。但是,同其他普通C/C++函数一样,参数表达式的解析顺序是不确定的(如,一种编译器可以自由选择一种顺序来进行解析),而你的代码不应该依赖于某种特定的参数解析顺序。
ASSERT_EQ()对指针进行的是指针比较。即,如果被用在两个C字符串上,它会比较它们是否指向同样的内存地址,而不是它们所指向的字符串是否有相同值。所以,如果你想对两个C字符串(例如,const char*)进行值比较,请使用ASSERT_STREQ()宏,该宏会在后面介绍到。特别需要一提的是,要验证一个C字符串是否为空(NULL),使用ASSERT_STREQ(NULL, c_string)。但是要比较两个string对象时,你应该使用ASSERT_EQ。
本节中介绍的宏都可以处理窄字符串对象和宽字符串对象(string和wstring)。
有效平台:Linux、Windows、Mac。
字符串比较
该组断言用于比较两个C字符串。如果你想要比较两个string对象,相应地使用EXPECT_EQ、EXPECT_NE等断言。
致命断言 | 非致命断言 | 验证条件 |
ASSERT_STREQ(expected_str, actual_str); | EXPECT_STREQ(expected_str, actual_str); | 两个C字符串有相同的内容 |
ASSERT_STRNE(str1, str2); | EXPECT_STRNE(str1, str2); | 两个C字符串有不同的内容 |
ASSERT_STRCASEEQ(expected_str, actual_str); | EXPECT_STRCASEEQ(expected_str, actual_str); | 两个C字符串有相同的内容,忽略大小写 |
ASSERT_STRCASENE(str1, str2); | EXPECT_STRCASENE(str1, str2); | 两个C字符串有不同的内容,忽略大小写 |
注意断言名称中出现的“CASE”意味着大小写被忽略了。
*STREQ*和*STRNE*也接受宽字符串(wchar_t*)。如果两个宽字符串比较失败,它们的值会做为UTF-8窄字符串被输出。
一个NULL空指针和一个空字符串会被认为是不一样的。
有效平台:Linux、Windows、Mac。
参见:更多的字符串比较的技巧(如子字符串、前缀和正则表达式匹配),请参见[Advanced Guide Advanced Google Test Guide]。
简单的测试
要创建一个测试:
- 使用TEST()宏来定义和命名一个测试函数,它们是一些没有返回值的普通C++函数。
- 在这个函数中,与你想要包含的其它任何有效C++代码一起,使用Google Test提供的各种断言来进行检查。
- 测试的结果由其中的断言决定;如果测试中的任意断言失败(无论是致命还是非致命),或者测试崩溃,那么整个测试就失败了。否则,测试通过。
- TEST(test_case_name, test_name) {
- ... test body ...
- }
TEST()的参数是从概括到特殊的。第一个参数是测试案例的名称,第二个参数是测试案例中的测试的名称。记住,一个测试案例可以包含任意数量的独立测试。一个测试的全称包括了包含它的测试案例名称,及其独立的名称。不同测试案例中的独立测试可以有相同的名称。
举例来说,让我们看一个简单的整数函数:
- int Factorial(int n); // 返回n的阶乘
这个函数的测试案例应该看起来像是:
- // 测试0的阶乘
- TEST(FactorialTest, HandlesZeroInput) {
- EXPECT_EQ(1, Factorial(0));
- }
- // 测试正数的阶乘
- TEST(FactorialTest, HandlesPositiveInput) {
- EXPECT_EQ(1, Factorial(1));
- EXPECT_EQ(2, Factorial(2));
- EXPECT_EQ(6, Factorial(3));
- EXPECT_EQ(40320, Factorial(8));
- }
Google Test根据测试案例来分组收集测试结果,因此,逻辑相关的测试应该在同一测试案例中;换句话说,它们的TEST()的第一个参数应该是一样的。在上面的 例子中,我们有两个测试,HandlesZeroInput和HandlesPostiveInput,它们都属于同一个测试案例 FactorialTest。
有效平台:Linux、Windows、Mac。
测试固件(Test Fixtures,又做测试夹具、测试套件):在多个测试中使用同样的数据配置
当你发现自己编写了两个或多个测试来操作同样的数据,你可以采用一个测试固件。它让你可以在多个不同的测试中重用同样的对象配置。
要创建测试固件,只需:
- 创建一个类继承自testing::Test。将其中的成员声明为protected:或是public:,因为我们想要从子类中存取固件成员。
- 在该类中声明你计划使用的任何对象。
- 如果需要,编写一个默认构造函数或者SetUp()函数来为每个测试准备对象。常见错误包括将SetUp()拼写为Setup()(小写了u)——不要让它发生在你身上。
- 如果需要,编写一个析构函数或者TearDown()函数来释放你在SetUp()函数中申请的资源。要知道什么时候应该使用构造函数/析构函数,什么时候又应该使用SetUp()/TearDown()函数,阅读我们的FAQ。
- 如果需要,定义你的测试所需要共享的子程序。
当我们要使用固件时,使用TEST_F()替换掉TEST(),它允许我们存取测试固件中的对象和子程序:
- TEST_F(test_case_name, test_name) {
- ... test body ...
- }
与TEST()一样,第一个参数是测试案例的名称,但对TEST_F()来说,这个名称必须与测试固件类的名称一些。你可能已经猜到了:_F正是指固件。
不幸地是,C++宏系统并不允许我们创建一个单独的宏来处理两种类型的测试。使用错误的宏会导致编译期的错误。
而且,你必须在TEST_F()中使用它之前,定义好这个测试固件类。否则,你会得到编译器的报错:“virtual outside class declaration”。
对于TEST_F()中定义的每个测试,Google Test将会:
- 在运行时创建一个全新的测试固件
- 马上通过SetUp()初始化它,
- 运行测试
- 调用TearDown()来进行清理工作
- 删除测试固件。注意,同一测试案例中,不同的测试拥有不同的测试固件。Google Test在创建下一个测试固件前总是会对现有固件进行删除。Google Test不会对多个测试重用一个测试固件。测试对测试固件的改动并不会影响到其他测试。
例如,让我们为一个名为Queue的FIFO队列类编写测试,该类的接口如下:
- template <typename E> // E为元素类型
- class Queue {
- public:
- Queue();
- void Enqueue(const E& element);
- E* Dequeue(); // 返回 NULL 如果队列为空.
- size_t size() const;
- ...
- };
首先,定义一个固件类。习惯上,你应该把它的名字定义为FooTest,这里的Foo是被测试的类。
- class QueueTest : public testing::Test {
- protected:
- virtual void SetUp() {
- q1_.Enqueue(1);
- q2_.Enqueue(2);
- q2_.Enqueue(3);
- }
- // virtual void TearDown() {}
- Queue<int> q0_;
- Queue<int> q1_;
- Queue<int> q2_;
- };
在这个案例中,我们不需要TearDown(),因为每个测试后除了析构函数外不需要进行其它的清理工作了。
接下来我们使用TEST_F()和这个固件来编写测试。
- TEST_F(QueueTest, IsEmptyInitially) {
- EXPECT_EQ(0, q0_.size());
- }
- TEST_F(QueueTest, DequeueWorks) {
- int* n = q0_.Dequeue();
- EXPECT_EQ(NULL, n);
- n = q1_.Dequeue();
- ASSERT_TRUE(n != NULL);
- EXPECT_EQ(1, *n);
- EXPECT_EQ(0, q1_.size());
- delete n;
- n = q2_.Dequeue();
- ASSERT_TRUE(n != NULL);
- EXPECT_EQ(2, *n);
- EXPECT_EQ(1, q2_.size());
- delete n;
- }
上面这段代码既使用了ASSERT_*断言,又使用了EXPECT_*断言。经验上讲,如果你想要断言失败后,测试能够继续进行以显示更多的错误 时,你应该使用EXPECT_*断言;使用ASSERT_*如果该断言失败后继续往下执行毫无意义。例如,Dequeue测试中的第二个断言是 ASSERT_TURE(n!= NULL),因为我们随后会n指针解引用,如果n指针为空的话,会导致一个段错误。
当这些测试开始时,会发生如下情况:
- Google Test创建一个QueueTest对象(我们把它叫做t1)。
- t1.SetUp()初始化t1。
- 第一个测试(IsEmptyInitiallly)在t1上运行。
- 测试完成后,t1.TearDown()进行一些清理工作。
- t1被析构。
- 以上步骤在另一个QueueTest对象上重复进行,这回会运行DequeueWorks测试。
有效平台:Linux、Windows、Mac。
注意:当一个测试对象被构造时,Google Test会自动地保存所有的Google Test变量标识,对象析构后进行恢复。
调用测试
TEST()和TEST_F()向Google Test隐式注册它们的测试。因此,与很多其他的C++测试框架不同,你不需要为了运行你定义的测试而将它们全部再列出来一次。
在定义好测试后,你可以通过RUN_ALL_TESTS()来运行它们,如果所有测试成功,该函数返回0,否则会返回1.注意RUN_ALL_TESTS()会运行你链接到的所有测试——它们可以来自不同的测试案例,甚至是来自不同的文件。
当被调用时,RUN_ALL_TESTS()宏会:
- 保存所有的Google Test标志。
- 为一个侧测试创建测试固件对象。
- 调用SetUp()初始化它。
- 在固件对象上运行测试。
- 调用TearDown()清理固件。
- 删除固件。
- 恢复所有Google Test标志的状态。
- 重复上诉步骤,直到所有测试完成。
此外,如果第二步时,测试固件的构造函数产生一个致命错误,继续执行3至5部显然没有必要,所以它们会被跳过。与之相似,如果第3部产生致命错误,第4部也会被跳过。
重要:你不能忽略掉RUN_ALL_TESTS()的返回值,否则gcc会报一个编译错误。这样设计的理由是自动化测试服务会根据测试退出返回码来 决定一个测试是否通过,而不是根据其stdout/stderr输出;因此你的main()函数必须返回RUN_ALL_TESTS()的值。
而且,你应该只调用RUN_ALL_TESTS()一次。多次调用该函数会与Google Test的一些高阶特性(如线程安全死亡测试thread-safe death tests)冲突,因而是不被支持的。
有效平台:Linux、Windows、Mac。
编写main()函数
你可以从下面这个样板开始:
- #include "this/package/foo.h"
- #include <gtest/gtest.h>
- namespace {
- // 测试Foo类的测试固件
- class FooTest : public testing::Test {
- protected:
- // You can remove any or all of the following functions if its body
- // is empty.
- FooTest() {
- // You can do set-up work for each test here.
- }
- virtual ~FooTest() {
- // You can do clean-up work that doesn't throw exceptions here.
- }
- // If the constructor and destructor are not enough for setting up
- // and cleaning up each test, you can define the following methods:
- virtual void SetUp() {
- // Code here will be called immediately after the constructor (right
- // before each test).
- }
- virtual void TearDown() {
- // Code here will be called immediately after each test (right
- // before the destructor).
- }
- // Objects declared here can be used by all tests in the test case for Foo.
- };
- // Tests that the Foo::Bar() method does Abc.
- TEST_F(FooTest, MethodBarDoesAbc) {
- const string input_filepath = "this/package/testdata/myinputfile.dat";
- const string output_filepath = "this/package/testdata/myoutputfile.dat";
- Foo f;
- EXPECT_EQ(0, f.Bar(input_filepath, output_filepath));
- }
- // Tests that Foo does Xyz.
- TEST_F(FooTest, DoesXyz) {
- // Exercises the Xyz feature of Foo.
- }
- } // namespace
- int main(int argc, char **argv) {
- testing::InitGoogleTest(&argc, argv);
- return RUN_ALL_TESTS();
- }
testing::InitGoogleTest()函数负责解析命令行传入的Google Test标志,并删除所有它可以处理的标志。这使得用户可以通过各种不同的标志控制一个测试程序的行为。关于这一点我们会在GTestAdvanced中讲到。你必须在调用RUN_ALL_TESTS()之前调用该函数,否则就无法正确地初始化标示。
在Windows上InitGoogleTest()可以支持宽字符串,所以它也可以被用在以UNICODE模式编译的程序中。
进阶阅读
恭喜你!你已经学到了一些Google Test基础。你可以从编写和运行几个Google Test测试开始,再阅读一下GoogleTestSamples,或是继续研究GoogleTestAdvancedGuide,其中描述了很多更有用的Google Test特性。
已知局限
Google Test被设计为线程安全的。但是,我们还没有时间在各种平台上实现同步原语(synchronization primitives)。因此,目前从两个线程同时使用Google Test断言是不安全的。由于通常断言是在主线程中完成的,因此在大多数测试中这都不算问题。如果你愿意帮忙,你可以试着在gtest-port.h中实现必要的同步原语。