Beta版本测试报告

 第一章引言

1.1编写目的

本测试报告为newbe软工小组编写的爬虫程序Beta版本的测试报告，目的在于总结测试第二阶段开发任务的测试以及分析测试结果，描述系统是否符合此新版本的需求。本阶段我们的测试人员主要为（需要填写）。

1.2项目背景

我们小组的研究课题是：在已经完成的爬虫程序的基础上进行功能的拓展和优化，编写一个更实用的爬虫软件，编写时会应用到学长的部分代码并在其基础上完善创新。在此版本里，学长的代码所能给予我们借鉴的内容已经很少了，所以大体代码编写都是由组内成员自行完成。截止到发布为止，我组从以下几个方面着手进行改进和完善：

（需要填写）

第二章测试概要

系统Beta版本测试从2014年12月16日开始到2014年12月26日结束，共持续10天。测试功能点8个，执行812个测试用例，平均每个功能点执行测试用例101个，测试共发现18个bug，其中严重级别的bug 8个，无效bug 0个，非严重级别的bug 10个。

严重：
1.发生异常时没解除线程占用
2.连接数据库异常
3.访问频繁503
4.文件名过长
5.数据库数据混乱ID重复
6.下载了无效页面
7.链接识别不准确
8.重新开始时没有记录上次爬取位置

非严重
1.爬取链接里可能有重复链接
2.页面字符会有乱码
3.链接有特殊字符
4.UI设计，按钮信息未及时更新，导致下一状态没有及时更新
5.数据库java.sql.SQLException: Io 异常: Connection reset
6.下载页面时:BufferedReader的ready与readLine使用，以及Premature EOF异常
7.数据库：com.microsoft.sqlserver.jdbc.SQLServerException: 该连接已关闭。
8.数据库pagetype更新错误
9.下载页面数和更新的数据库项数不同
10.百度识别问题没有过滤过期问题

Beta版本为第二个测试版本，实现和测试都按预定计划完成。

2.1测试用例设计

此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划的规定我们采用（等价类划分法，错误推测法和功能图分析法）对测试用例进行了设计。对规定的测试计划在测试执行中都有体现。依据测试计划和测试用例，对系统进行了完整的测试。同时我们使用了Junit+EclEmma测试了软件UI和主要功能，测试了代码覆盖率删除了一些冗余或者无效代码。

2.2测试用例属性

2.2.1功能性

系统实现的主要功能，包括：

a)通用型爬取: 输入种子网址以及需要爬取网页数，将所需网页分类添加到数据库中。

b)聚集型爬取: 输入关键词以及需要爬取网页数，将所需网页分类添加到数据库中。

c)综合型爬取: 输入种子网址、关键词以及需要爬取网页数，将符合条件的所有网页分类添加到数据库中。

d)问答页爬取: 输入需要爬取网页数，选择需要爬取的问答页面种类，将符合条件的所有问答页添加到数据库中。

 

系统实现的次要功能，包括:

a)显示当前爬取进度，显示当前爬取网页的地址以及数量。

b)通过图表实时展示当前爬取进度：包括已访问网页数、爬取成功网页数、爬取失败网页数、过滤网页数。

c)通过饼状图查询数据库中已存在的数据分布：包括网页、问答页、文章。

d)通过柱状图展示已爬取网页中TOP10热度的网页。

2.2.2 可靠性

操作按钮提示信息正确性，一致性，可理解性

输入方式可理解性

中文界面下数据语言与界面语言的一致性

2.2.3 可使用性

系统必须在实现用户需求的层次上实现比较稳定的运行。同时和用户的操作系统兼容，保证用户可以稳定地使用。

2.3测试环境与配置

2.3.1功能测试

数据库服务器配置
机器名（IP）		CPU	内存	软件环境（操作系统、应用软件）
219.224.191.25		2.67GHz	4.00GB	Windows server 2008 R2 Standard
应用服务器配置
机器名（IP）		CPU	内存	软件环境（操作系统、应用软件）
219.224.191.25		2.67GHz	4.00GB	Windows server 2008 R2 Standard
其他说明	无

2.3.2性能测试

 

数据库服务器配置
机器名（IP）		CPU	内存	软件环境（操作系统、应用软件）
219.224.191.25		2.67GHz	4.00GB	Windows server 2008 R2 Standard
应用服务器配置
机器名（IP）		CPU	内存	软件环境（操作系统、应用软件）
219.224.191.25		2.67GHz	4.00GB	Windows server 2008 R2 Standard
其他说明	无

第三章测试内容和执行情况

3.1项目测试概况表

项目测试概况表

项目版本	开始时间	结束时间	相关爬取方式覆盖率				用例数	用例通过数	问题数	用例通过率
			通用型爬取	聚集型爬取	综合型爬取	问答页爬取	个	个	个	％
2.00	2014.12.16	2014.12.19	√	√	√		130	125	5	96.1
2.01	2014.12.19	2014.12.22	√	√	√	√	253	246	7	97.2
2.02	2014.12.22	2014.12.26	√	√	√	√	429	423	6	98.6

3.2功能

功能测试情况概要

模块名称	开始时间	结束时间	用例数	用例通过数	问题数	用例通过率
			个	个	个	％
UI界面基本功能测试	2014.12.16	2014.12.26	404	394	10	97.5
UI界面附加功能测试	2014.12.19	2014.12.26	114	113	1	99.1
爬取内容保存功能	2014.12.16	2014.12.22	294	287	7	97.6

 

 

3.2.1 基本功能测试

功能	基本要求	测试情况	测试通过
			是	否
URL接收	UI界面可以接收用户输入的URL	功能实现	√
URL接收模式选择	用户可以根据自己的需求在UI界面内选择种子网站的输入模式(包括文本读入/直接输入)	功能实现	√
爬取方式选择	UI界面可以根据用户的选择进行不同方式的爬取：包括通用型爬取、聚集型爬取、综合型爬取、问答页爬取	功能实现	√
文本读入多种子	用户可以在UI界面内进行多种子seeds文件路径的选择	功能实现	√
爬取页面数量设定	用户输入所需要爬取的网页数量，当爬取的网页数目达到所设定的数目时停止爬虫程序。	功能实现	√
爬取关键字设定	UI界面可以接收用户输入的关键字	功能实现	√
暂停/继续爬取功能	UI界面可以通过用户点击暂停或继续网页爬取进程	功能实现	√

3.2.3 附加功能测试测试

功能	基本要求	测试情况	测试通过
			是	否
爬取页面URL显示	显示当前已经爬取过的页面的URL地址	功能实现	√
爬取页面数量	测试所能爬取页面的上限数量	功能实现	√
实时展示当前爬取进度	已访问网页数、爬取成功网页数、爬取失败网页数、过滤网页数的分布	功能实现	√
数据库中已存在的数据可视化	通过饼状图展示数据库中数据分布：包括网页、问答页、文章	功能实现	√
TOP10热度的网页的提取	通过柱状图展示已爬取网页中TOP10热度的网页	功能实现	√

3.2.2 爬取内容保存功能测试

功能	基本要求	测试情况	测试通过
			是	否
存储爬取到的HTML	爬虫程序结束后能在服务器上查看到所爬取到的HTML网页	功能实现	√
数据库填表	可以在数据库中查询所有已经爬取到的HTML的相关信息	功能实现	√
内容分类	根据所爬取到的信息的URL地址或者内容进行类型区别，并在数据库对应字段进行别分赋值	功能实现	√

3.3性能（效率）

性能测试情况概要

测试序号	URL地址/爬取方式	网页数目	测试时间(单位：毫秒)
1	通用型爬取: http://ask.csdn.net	500	59982
2	通用型爬取: http://en.wikipedia.org/wiki/Main_Page	500	62783
3	通用型爬取:http://stackoverflow.com	500	61279
4	通用型爬取:http://q.cnblogs.com	500	59120
5	通用型爬取: http://www.dewen.io	500	61280
6	通用型爬取:http://home.cnblogs.com/u/newbe	100	66128
7	问答页爬取：全部quiz	500	62323
8	问答页爬取：stackoverflow	500	319238
9	问答页爬取：搜狗问问　　wenwen.sougou	500	59283
10	问答页爬取：百度知道　　zhidao.baidu	500	52738
11	问答页爬取：德问　　dwen	500	56533
12	问答页爬取：博问　　q.cnblogs	500	53723
13	综合型爬取：http://www.csdn.net 关键词:computer science	500	89430
14	综合型爬取：http://www.baidu.com 关键词:programming language	500	73182
15	聚集型爬取: 关键词:programming language	500	69013
16	聚集型爬取: 关键词:computer science	500	73218

3.3.1设备效率

序号	爬取数	CPU占用率（%）	内存占用率（KB）
1	10	2.13	17460
2	100	4.19	160878
3	1000	12.37	172768
4	10000	19.54	192911
5	100000	21.99	210932

3.3.3测试用例补充说明

序号	URL地址/爬取方式	极限测试网页数
1	通用型爬取:  http://ask.csdn.net	2000
2	通用型爬取:   http://en.wikipedia.org/wiki/Main_Page	2000
3	通用型爬取:   http://stackoverflow.com	2000
4	通用型爬取: http://q.cnblogs.com	2000
5	通用型爬取:  http://www.dewen.io	2000
6	通用型爬取: http://home.cnblogs.com/u/newbe	2000
7	问答页爬取：全部quiz	150000
8	问答页爬取：stackoverflow	50000
9	问答页爬取：搜狗问问　　wenwen.sougou	10000
10	问答页爬取：百度知道　　zhidao.baidu	10000
11	问答页爬取：德问　　dwen	10000
12	问答页爬取：博问　　q.cnblogs	10000
13	综合型爬取：http://www.csdn.net 关键词:computer science	2000
14	综合型爬取：http://www.baidu.com 关键词:programming language	2000
15	聚集型爬取: 关键词:programming language	2000
16	聚集型爬取: 关键词:computer science	2000

3.4可靠性

测试内容	基本要求	测试情况	测试通过
			是	否
掉电	客户机掉电或强行关机后重启机器，不丢失数据。	实现要求	√
爬取内容实时下载	在爬虫程序意外或者人为中断时，已经爬取到的内容已经保存	实现要求	√
爬取内容分类	爬虫程序获取资源后进行恰当分类，以保证数据的合理可靠	实现要求	√

3.5安全性

测试内容	基本要求	测试情况	测试通过
			是	否
数据库安全性	数据库对于用户而言仅有查询的权限而没有修改、删除等权限	实现要求	√
爬取到的信息的安全性	所爬取到的信息放在特定的路径内，只有指定用户可以提取	实现要求	√

3.6易用性

测试内容	基本要求	测试情况	测试通过
			是	否
易安装性	安装参数给出默认值或提示，需要用户干预的地方尽量少，操作方便。	实现要求	√
简易界面	在参考功能使用说明书的前提下，能很轻松的使用该程序	实现要求	√
操作简易	直接通过双击图标即可运行爬虫程序	实现要求	√
数据提取方便	通过重定向存储文件路径，用户可以更加方便的找到保存资源的文件路径	实现要求	√

 

 

第四章缺陷的统计与分析

缺陷类型	具体说明	原因分析
爬取信息类型	存储到数据库内的类型分为html、pdf和quiz	由于用户需求的改变(海量问答页的获取)，其它类型的网页不满足客户需求，所以没有进行下载设计

第五章测试结论

 本版本的爬虫系统在多方面都进行一定的测试，相比于原来的版本，所花费的测试时间更多。大致进行的测试，包括内容总结如下：功能、可靠性、安全性、可使用性等方面进行了全面、严格、规范的测试。测试结果表明：爬虫达到业务需求文档中的要求，并具有以下特点：

1、系统架构清晰，且相比于原来的版本更加优化。

2、功能丰富度大幅提高，如果继续开发必须在对客户需求的充分了解的前提下进一步开发。

3、系统可靠性高，且相比于原来版本而言，分类更加明晰。对客户机掉电或强行关机后重启机器、网络异常中断。有完善的数据校验机制，对用户输入不符合要求的数据，给出了简洁、准确的提示信息，必要时给出了帮助。而同时，数据库内信息分类明晰，有利于用户合理调用数据库信息。

测试结论：通过。