写在前面
这个过程几乎从0开始,在此之前,我几乎没有在 linux 下编译链接过项目、没有接触过 makefile、没有读过 man-db、只 gcov 过一个仅有几个C文件的项目
现在,我用 gcov 完成了对 VIM 源码的覆盖,并通过 lcov 生成了非常易读的覆盖率报告
中间碰到了许多疑难杂症,但是更多的是若干教程中叮嘱的“不要放弃”,所以我大概按照下面的节点完成了这个工具的入门:
虚拟机安装Ubuntu,配置gcov和lcov环境
--> 编译链接单个C文件
--> 写一个多个C文件的项目,用 makefile 进行编译连接,完成覆盖
--> 覆盖优秀的开源软件,例如 VIM
这里会按照上述节点逐渐展开,希望帮助和我一样从0开始的朋友们更容易的完成这个过程
如果您对一些问题已经有了研究,那么这里的内容可能太过浅显,敬请继续往下翻阅
如果您没有碰到这些问题,那么恭喜一切都很顺利
如果您要深究一些技术的原理,那么这里可能无法提供您所需要的信息:一是我期望在这里精炼出成功配置环境的方法,更倾向于去解决问题而非深入研究;二是掌握一项技术归根结底还要自己一步一步走下去,一点一点踏实学,绝不是一篇博文就能简单解决的
好了,下面开始 :-)
虚拟机配置安装 Ubuntu
1. 选择虚拟机 VirtualBox,至于为什么不用 VMWare,请参考:
2. Ubuntu镜像:
http://www.ubuntu.com/download
3. 安装过程大体略去,只是您在用虚拟机加载镜像的时候可能碰到 VT-x feature locked or unavailable 的问题,那么请参考:
如果还不能成功,请从本地硬盘以管理员身份启动 VirtualBox
或者,给这个虚拟机镜像分配少一点的内存
(很奇怪的是,我在安装 x86 Ubuntu 时,分配内存超过 3G 就会出现此问题,理论不是 4G 吗?求解)
4. 安装完之后您可能会向我一样需要两个功能:调整分辨率和共享文件夹,这都需要安装虚拟机的增强功能
所谓的安装增强功能,是在登录到 Ubuntu 之后,挂载一个光盘镜像,并安装一些内容,但是您在安装增强功能时可能会碰到以下问题:
“分配介质虚拟光盘 xxx\VBoxsGuestAdditions.iso 到虚拟电脑 xxx 失败。您是否要强制卸载分配该介质?”
请参考:
http://www.crifan.com/virtualbox_ubuntu_install_guest_addtions_fail_could_not_mount_the_media/
原因简而言之是,因为你需要加载一个镜像到虚拟机的光驱,但是虚拟机光驱内已经有内容了,卸载掉,或者直接从已加载的内容中安装
分辨率在重启虚拟机之后就可以生效。
5. 共享文件夹,因为会需要从宿主 Windows 中共享一些资源到虚拟机的 Ubuntu 中,在安装完增强功能之后
选择好宿主机上的共享目录,之后在 Ubuntu 终端上运行命令:
$ sudo mount -t vboxsf <shared_folder_on_windows> <mount_point_on_ubuntu>
这样在 Ubuntu 的挂载点上就能访问 Windows 上共享的资源了。
配置 Ubuntu,安装 gcov & lcov
1. 网络源和安装软件
为什么要配置源?您当然可以手动安装各种软件包,但是繁琐的依赖关系会让你痛不欲生。而从网络源安装会检查依赖并自动部署(安装),仅需一条命令:
$ sudo apt-get install <software_name>
比如,分别执行如下两条命令,就自动完成 gcov 和 lcov 的安装
$ sudo apt-get install gcov $ sudo apt-get install lcov
等一下,网络源还没配……
其实就是把“要从哪里获取资源”这个信息告诉 Ubuntu,可以参考:
http://wiki.ubuntu.org.cn/index.php?title=Qref/Source&variant=zh-cn
上述资料简述成为以下三步:
a) 备份系统自带的源,原始的源列表就在 /etc/apt/sources.list
$ sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
以上命令的意思是,把原始内容原封不动的 backup 一下,以后你就可以从这个 sources.list_backup 中恢复了
b) 全世界有很多的源可供您维护系统更新软件,依据您的网络环境添加合适的源(例如,如果人在欧洲,那么添加网易的开源镜像服务器就不太合适了)
很久以前在大三的水过的 Linux 课上老师提过 CN99 放在常州,不过现在我使用的网易的源,中间的变迁似乎还有段野史,感兴趣的请自行搜索
c) 获取源的目录等信息,改成你期望的源之后,请一定要执行以下命令:
$sudo apt-get update
2. 就在上面这条指令更新源的时候碰到的问题:Hash 和 public key ,详细错误信息类似下面这两条:
W: There is no public key available for the following key IDs:
xxxxxxxxxxxxxxxx
W: You may want to run apt-get update to correct these problems
W: Failed to fetch
bzip2:/var/lib/apt/lists/partial/ppa.launchpad.net_webupd8team_java_ubuntu_dists_precise_main_binary-i386_Packages
Hash Sum mismatch
Public key not available
在选用更新源的时候,切记不能混用不同发行版的源,甚至同一发行版的不同版本也不能混用
在上面更新源的简介资料中,给出的范例是 Quantal(12.10) 版本,而我虚拟机安装的其实是 Precise(12.04) 版本,因此参考网易的帮助文档:
http://mirrors.163.com/.help/ubuntu.html
选用正确的 Precise 源更新到 sources.list 文件中,公钥问题解决。
Hash Sum mismatch
参考以下材料,似乎国内总会碰到这样的问题,似乎和敏**词过滤有关,内容被篡改了?
http://forum.ubuntu.org.cn/viewtopic.php?t=393662
这个问题的原因尚不确定,有经验的朋友也请给些解答。在家就总会 Hash Sum mismatch ,而在公司就解决了。
解决了以上问题之后,就可以用 sudo apt-get install 把 gcov lcov 装起来了。
GCOV 用于简单项目的覆盖
gcov 适用的场合:GNU C/C++,因此适用的编译器:cc, gcc, g++
这里举斐波那契数列的一个程序为例
1 #include <stdio.h> 2 3 int fibonacci(int n); 4 5 int main () 6 { 7 int fib; 8 int n; 9 10 for (n = 0; n <= 41; n++) { 11 fib = fibonacci(n); 12 printf("fibonnaci(%d) = %d\n", n, fib); 13 } 14 15 return 0; 16 } 17 18 int fibonacci(int n) 19 { 20 int fib; 21 if (n <= 0) { 22 fib = 0; 23 } 24 else if (n == 1) { 25 fib = 1; 26 } 27 else { 28 fib = fibonacci(n -1) + fibonacci(n - 2); 29 } 30 31 return fib; 32 }
1. 编译
$ gcc -c fib.c -ftest-coverage -fprofile-arcs
除了 fib.o 之外,还生成了 fib.gcno 的话,成功了
.gcno是由-ftest-coverage产生的,它包含了重建基本块图和相应的块的源码的行号的信息。
2. 链接
$ gcc fib.o -o fib
诶……怎么回事?
在看到了一封乘坐了时光机的来自2003年的邮件之后,查阅了一下 gcc 的 man-db
我当时邮件给时光机的两个主角问了一下 gcov 的近况,并没有期望得到回复
但是就在昨天 Nathan 他老人家竟然回邮件了!带上以上所有已经提供的信息,他还感慨了一下 gcov has changed a lot since then...
回归正题,链接的时候下面三条任选一个执行即可
$ gcc fib.o -o fib --coverage $ gcc fib.o -o fib -lgcov $ gcc fib.o -o fib -fprofile-arcs
应该会正常生成 fib
3. 运行程序 fib
$ ./fib
会生成 .gcda 文件,.gcda是由加了-fprofile-arcs编译参数的编译后的文件运行所产生的,它包含了弧跳变的次数和其他的概要信息。
4. 生成 gcov 报告
$ gcov fib.c
生成的 fib.c.gcov 文件中就包含了代码覆盖的统计数据,数字代表了每行代码被执行的次数及行号,相信这个不难分析
-: 0:Source:fib.c -: 0:Graph:fib.gcno -: 0:Data:fib.gcda -: 0:Runs:1 -: 0:Programs:1 -: 1:#include <stdio.h> -: 2: -: 3:int fibonacci(int n); -: 4: 1: 5:int main () -: 6:{ -: 7: int fib; -: 8: int n; -: 9: 43: 10: for (n = 0; n <= 41; n++) { 42: 11: fib = fibonacci(n); 42: 12: printf("fibonnaci(%d) = %d\n", n, fib); -: 13: } -: 14: 1: 15: return 0; -: 16:} -: 17: 1402817422: 18:int fibonacci(int n) -: 19:{ -: 20: int fib; 1402817422: 21: if (n <= 0) { 267914296: 22: fib = 0; -: 23: } 1134903126: 24: else if (n == 1) { 433494436: 25: fib = 1; -: 26: } -: 27: else { 701408690: 28: fib = fibonacci(n -1) + fibonacci(n - 2); -: 29: } -: 30: 1402817422: 31: return fib; -: 32:} -: 33:
至于 gcov 的更多选项,例如 -b 分支覆盖 -f 函数覆盖, 就 man 吧。
5. 存在的问题
gcov 对每个源码的分析分散在对应的 .cov 文件中,不容易整理分析;文本,无图表……
这就是要使用 lcov 的原因
另外,如果您对gcc也十分不熟悉,正在寻求入门的话,可以参考这里:
http://wiki.ubuntu.org.cn/Gcchowto
LCOV 整理覆盖率数据
1. 汇总覆盖率数据,使用已经生成的 .gcno .gcda 文件生成覆盖率数据
$ lcov -c -o fib.info -d .
简单解释一下三个选项
-c: lcov 的一个操作,表示要去捕获覆盖率数据
-o: 输出文件
-d: .gcno .gcda 所在的文件夹,注意这里有个“.”,是从当前文件夹中获取数据的
问题又来了,开始在 lcov 的过程中,碰到 Negative length 的问题,顺着提示找到 lcov 源码中的一处 $(length) ,之后并没有头绪为什么会是负值传入的,于是根据 sourceforge 上面的地址,发了一封邮件询问了一下,回信意思是我使用的 gcc 版本为 4.7.2,需要 lcov 1.10+ 版本支持,使用 1.09 或更低版本的 lcov 会出现这样的问题。于是到以下地址去下载了最新的 lcov
http://ltp.sourceforge.net/coverage/lcov.php
在 lcov 1.10 的 release notes 中写明了对 gcc 4.7+ 提供了支持。
2. 生成 html 格式的报告
$ genhtml fib.info -o fib_result
genhtml 是安装 lcov 时附带的,使用上面产生的 .info 文件生成报告,存放于 fib_result 文件夹中
没错,这里的报告并不只是一个文件,有好多存放在你 -o 指定的目录下,生成之后进入 fib_result 就可以看见念想很久的 index.html 了
这里再分享一下怎么从 terminal 用浏览器打开网页:
$ firefox index.html
3. gcov lcov 资料汇总
在学习过程中检索到的一些文章有对这两个工具的解读,我将有所收获、编排整齐的几篇列举如下,由浅入深,您也可以直接参考他们的文章:
i) gcov 和 lcov 的简明使用教程:http://magustest.com/blog/whiteboxtesting/using-gcov-lcov/
ii) gcov 和 lcov 的简单介绍,包括一些选项的含义,
gcov: http://blog.csdn.net/livelylittlefish/article/details/6321861
lcov: http://blog.csdn.net/livelylittlefish/article/details/6321887
iii) gcov 产生的覆盖率结果会存放在 .cov 文件中,这里有对 .cov 文件的解读:http://blog.csdn.net/ashhyc/article/details/1558598
iv) lcov 中间产物 .info 文件的解读:http://blog.csdn.net/vivasoft/article/details/8330186
v) gcov lcov 产生各类文件的简介:http://wx782870649.blog.163.com/blog/static/12989164120127224317532/
vi) gcov official online manual: http://gcc.gnu.org/onlinedocs/gcc/Gcov.html
vii) gcov FAQ: https://oss.oracle.com/~smushran/.debug/gcov/FAQ
viii) 这里提到了怎么用 gcov 对 linux kernel 进行覆盖:http://blog.csdn.net/yukin_xue/article/details/7653482
ix) 这里分析了 gcov 的工作原理,并直接操纵其获取数据的出入口,实现了对后台进程的覆盖统计:
http://blog.linezing.com/2011/03/使用gcov完成代码覆盖率的测试
覆盖大项目-学习Makefile
为什么要有 makefile ?
因为编译、链接项目如果需要一条一条手动敲命令的话,那对那种动辄几十几百个文件的项目实在太恐怖了,需要这样一个建设性的懒惰,于是有了 makefile
makefile 是什么?
原本归根结底,makefile 是原来的编译、链接命令的集合,把源文件逐个编译、最后链接,产生可执行文件
至于为了灵活性而衍生出来的各类语法、变量、函数、隐晦规则……刚入门时可以先不必纠结
makefile 我还总结不出什么心得,这一阵儿学习是参考的陈皓老师的博客:http://blog.csdn.net/haoel/article/details/2886
或者这里有 pdf 文档,http://ishare.iask.sina.com.cn/f/8359780.html
我觉得,为了后面的工作,至少读通这份 pdf 的前8页,知道 makefile 怎么使用变量
1. 环境变量
相信您或多或少都听说过环境变量这个词,也知道他大概是什么意思,很多我们看不到的系统调用会用到这些变量,举个栗子:
打出命令 gcc 干嘛干嘛的时候,系统怎么执行你这个命令?系统不会听人说话,其实您已经调用了一个可执行文件 gcc
那这个 gcc 又是从哪调用的?其实系统会从一些目录下去找这个执行文件 gcc ,而这些目录就写在环境变量 $(PATH) 中,可以打印这个变量出来看看
$ echo $(PATH)
而 gcc 可执行程序在 /usr/bin 这个文件夹中,他的路径已经写在 $(PATH) 里了,应该可以看到
Ubuntu 系统的环境变量存储在以下5个配置文件中:
/etc/environment
系统登录时读取的第一个文件,用于为所有进程设置环境变量
/etc/profile
系统登录时读取的第二个文件,会设定所有用户的环境变量
~/.profile
对应当前登录用户的 profile 文件,用于定制当前用户的个人工作环境
/etc/bash.bashrc
对应所有用户的 bash 初始化文件,这里设定的环境变量将应用于所有用户的 shell 中,此文件会在用户每次打开 shell 时执行一次
~/.bashrc
对应当前登录用户 bash 的初始化文件,当用户每次打开shell时,系统都会执行此文件一次
这几个文件的读取书序依此是:
/etc/environment -> /etc/profile -> ~/.profile -> /etc/bash.bashrc -> ~/.bashrc
还可以进行一些实验验证,请参考:http://blog.sina.com.cn/s/blog_6405313801012pxw.html
2. makefile 中的变量
为什么要用变量?
再举个栗子,gcc 有选项 -O0 -O2,前者表示编译时不优化,后者表示最大程度优化,现在有个 makefile 如下:
executable: main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o gcc -o executable \ main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o main.o: main.c defs.h gcc -O2 -c main.c kbd.o: kbd.c defs.h command.h gcc -O2 -c kbd.c command.o: command.c defs.h command.h gcc -O2 -c command.c display.o: display.c defs.h buffer.h gcc -O2 -c display.c insert.o: insert.c defs.h buffer.h gcc -O2 -c insert.c search.o: search.c defs.h buffer.h gcc -O2 -c search.c files.o: files.c defs.h buffer.h command.h gcc -O2 -c files.c utils.o: utils.c defs.h gcc -O2 -c utils.c
当你要做覆盖率分析的时候,你期望编译过程不要优化,于是又要把所有的 -O2 改为 -O0 ……
当未来有一个比 gcc 更好的编译器 xcc ,又要把所有的 gcc 改为 xcc ......
当然,现在可以用 replace ,但是不管是期望更灵活的在以后来修改,还是强迫症……不如这样改写上述 makefile :
CC="gcc" CFLAGS="-O2 -c" object=main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o executable: $(object) $(CC) -o executable $(object) main.o: main.c defs.h $(CC) $(CFLAGS) main.c kbd.o: kbd.c defs.h command.h $(CC) $(CFLAGS) kbd.c command.o: command.c defs.h command.h $(CC) $(CFLAGS) command.c display.o: display.c defs.h buffer.h $(CC) $(CFLAGS) display.c insert.o: insert.c defs.h buffer.h $(CC) $(CFLAGS) insert.c search.o: search.c defs.h buffer.h $(CC) $(CFLAGS) search.c files.o: files.c defs.h buffer.h command.h $(CC) $(CFLAGS) files.c utils.o: utils.c defs.h $(CC) $(CFLAGS) utils.c
在 VIM src 的 INSTALL 文档中有这么几行
至于 CFLAGS, CXXFLAGS, LIBS 这些变量的含义,请参考:http://www.cnblogs.com/taskiller/archive/2012/12/14/2817650.html
这里我用了另一种方法来确定我需要关注那些变量,在项目路径下,执行:
$ ./configure -h
会显示 configure 的帮助文档,其中有这么几行:
把 gcvo lcov 中提到的知识应用到这儿,我们只需要设定好编译和链接相关的两个环境变量 CFLAGS 和 LIBS
如下设定:
$ export CFLAGS="-c -ftest-coverage -fprofile-arcs" $ export LIBS="-fprofile-arcs"
随后在 VIM 项目目录中
$ make $ make install
在 <VIM>/src/objects 中应该生成了许多 .o 和 .gcno 文件吧,随后运行 VIM 生成 .gcda ,汇总覆盖率数据生成 .info ,将信息整理成 html 格式的命令都可以参考上面有关 gcov lcov 的使用
最后打开 index.html,就可以看到本文最开始出现的覆盖率数据了
交叉编译项目及 Linux 内核的覆盖
(待补完)