Beta版本测试报告
一、引言
1.1编写目的
本测试报告目的在于总结测试第二阶段开发任务的测试以及分析测试结果，描述系统是否符合此新版本的需求。本阶段我们的测试人员主要为原本组成员，另外还有我们的交换成员。而我们的客户参与到了测试结果的审核和考察当众。预期参考人员包括测试人员、开发人员、项目经理、开发经理和需要阅读本报告的其他小组及其小组成员，以及软件工程课程老师。
1.2项目背景
我们小组的研究课题是：在已经完成的爬虫程序的基础上进行功能的拓展和优化，编写一个更实用的爬虫软件，编写时会应用到学长的部分代码并在其基础上完善创新。在此版本里，学长的代码所能给予我们借鉴的内容已经很少了，所以大体代码编写都是由组内成员自行完成。截止到发布为止，我组从以下几个方面着手进行改进和完善：
1.实现动态爬取
2.分类保存爬取到的文件
3.增加视频抓取功能并给出视频连接
4.网页质量判定
5.UI界面的优化
6.线程异常处理优化
二、测试概要
2.1测试用例设计
此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划的规定我们采用等价类划分法，错误推测法和功能图分析法对测试用例进行了设计。对规定的测试计划在测试执行中都有体现。依据测试计划和测试用例，对系统进行了完整的测试。
2.2测试用例属性
2.2.1功能性
系统实现的主要功能，包括根据用户选择的seed输入方式进行种子输入和需要爬取的网页数目对相关URL进行爬取。
系统实现的次要功能，包括显示当前爬取进度，显示当前爬取网页的URL。
新功能，包括视频链接、动态爬取、线程池、异常处理等。
2.2.2 可靠性
操作按钮提示信息正确性，一致性，可理解性
限制条件提示信息正确性，一致性，可理解性
输入方式可理解性
中文界面下数据语言与界面语言的一致性
2.2.3 可使用性
系统必须在实现用户需求的层次上实现比较稳定的运行。同时和用户的操作系统兼容，保证用户可以稳定地使用。
2.2.4 安全性
系统在爬取数据的过程中应该保证用户的信息和数据的安全。
2.2.5性能
新版本的爬虫应该爬取效率更好、爬取速度更高。
三、测试内容和执行情况
3.1功能测试
3.1.1 新功能测试
|
模块名称 |
开始时间 |
结束时间 |
用例数 |
用例通过数 |
问题数 |
用例通过率 |
|
个 |
个 |
个 |
％ |
|||
|
线程池测试 |
2015.12.27 |
2015.12.28 |
50 |
49 |
1 |
98 |
|
视频爬取测试 |
2015.12.30 |
2016.1.1 |
200 |
192 |
8 |
96 |
|
异常清理器测试 |
2015.12.29 |
2016.1.1 |
5000 |
5000 |
0 |
100 |
3.1.2 UI界面基本功能测试
|
功能 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
URL接收 |
UI界面可以接收用户输入的URL |
功能实现 |
√ |
|
|
爬取模式选择 |
用户可以根据自己的需求在UI界面内选择种子网站的输入模式 |
功能实现 |
√ |
|
|
爬取数据接受 |
UI界面可以接收用户输入的爬取数据要求 |
功能实现 |
√ |
|
|
多种子输入地址 |
用户可以在UI界面内进行多种子seeds存储路径的输入 |
功能实现 |
√ |
|
3.1.3 UI界面附加功能测试
|
功能 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
登录 |
输入正确的用户名和密码可以登录系统。 输入错误的用户名和密码系统给出明确提示。 |
功能实现 |
√ |
|
|
爬取页面数量设定 |
用户输入所需要爬取的网页数量，当爬取的网页数目达到所设定的数目时停止爬虫程序。 |
功能实现 |
√ |
|
|
爬取页面URL显示 |
显示当前已经爬取过的页面的URL地址 |
功能实现 |
√ |
|
|
爬取页面数量 |
测试所能爬取页面的上限数量 |
测试性能 |
√ |
|
|
爬取重置 |
用户通过点击reset按钮可以重置爬虫程序 |
功能实现 |
√ |
|
|
URL分析 |
用户通过点击analysis可以进行多种子输入文件的分析并爬取 |
功能实现 |
√ |
|
3.1.4 爬取内容保存功能
|
功能 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
存储爬取到的HTML |
爬虫程序结束后能在服务器上查看到所爬取到的HTML网页 |
功能实现 |
√ |
|
|
数据库填表 |
根据爬取到的HTML的相关信息 |
功能实现 |
√ |
|
|
内容分类 |
根据所爬取到的信息的URL地址或者内容进行类型区别，并在数据库对应字段进行别分赋值 |
功能实现 |
√ |
|
3.2 性能
| 测试序号 | URL | 极限爬取网页数 | 耗时（ms） |
| 1 | http://www.eecs.berkeley.edu/Pubs/TechRpts/ | 4798 | 5981392 |
| 2 | http://ask.csdn.net | 4269 | 19819406 |
| 3 | http://q.cnblogs.com | 333 | 175640 |
| 4 | http://www.buaa.edu.cn | 442 | 335379 |
| 5 | http://ev.buaa.edu.cn | 679 | 292099 |
| 6 | http://www.zhihu.com/ | 664 | 1248127 |
| 7 | http://www.eecs.berkeley.edu/Pubs/Dissertations/ | 1219 | 2743575 |
|
测试序号 |
URL地址 |
网页数目 |
测试时间(单位：毫秒) |
|
|
|
||||
|
1 |
http://ask.csdn.net |
100 |
21846 |
|
|
2 |
http://msdn.microsoft.com/en-us/ |
100 |
248769 |
|
|
3 |
http://q.cnblogs.com |
100 |
20187 |
|
|
4 |
http://en.wikipedia.org/wiki/Main_Page |
100 |
121563 |
|
|
5 |
http://www.buaa.edu.cn |
100 |
13452 |
|
|
6 |
http://ev.buaa.edu.cn |
100 |
43785 |
|
|
序号 |
URL地址 |
极限测试网页数 |
|
|
|
|||
|
1 |
http://ask.csdn.net |
4535 |
|
|
2 |
http://msdn.microsoft.com/en-us/ |
840 |
|
|
3 |
http://q.cnblogs.com |
443 |
|
|
4 |
http://en.wikipedia.org/wiki/Main_Page |
786 |
|
|
5 |
http://www.buaa.edu.cn |
745 |
|
|
6 |
http://ev.buaa.edu.cn |
307 |
|
| 测试序号 | 爬取方式：URL地址 | 网页数目 | 老版本花费时间（ms） | 新版本花费时间(ms) |
| 1 | 通用型爬取: http://ask.csdn.net | 100 | 64276 | 47320 |
| 2 | 通用型爬取:http://q.cnblogs.com | 100 | 21170 | 10006 |
| 3 | 通用型爬取: http://www.dewen.io | 100 | 37152 | 15880 |
3.3 可靠性
|
测试内容 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
掉电 |
客户机掉电或强行关机后重启机器，不丢失数据。 |
实现要求 |
√ |
|
|
爬取内容实时下载 |
在爬虫程序意外或者人为中断时，已经爬取到的HTML内容已经保存 |
实现要求 |
√ |
|
|
爬取内容分类 |
爬虫程序获取资源后进行恰当分类，以保证数据的合理可靠 |
实现要求 |
√ |
|
3.4 安全性
|
测试内容 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
用户权限 |
所有授权用户是否能在所授权限下进行工作，不容许超权限。 |
实现要求 |
√ |
|
|
数据库安全性 |
数据库对于用户而言仅有查询的权限而没有修改、删除等权限 |
实现要求 |
√ |
|
|
爬取到的信息的安全性 |
所爬取到的信息放在特定的路径内，只有指定用户可以提取 |
实现要求 |
√ |
|
3.5 易用性
|
测试内容 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
易安装性 |
安装参数给出默认值或提示，需要用户干预的地方尽量少，操作方便。 |
实现要求 |
√ |
|
|
简易界面 |
在参考功能使用说明书的前提下，能很轻松的使用该程序 |
实现要求 |
√ |
|
|
操作简易 |
直接通过双击图标即可运行爬虫程序 |
实现要求 |
√ |
|
|
数据提取方便 |
通过重定向存储文件路径，用户可以更加方便的找到保存资源的文件路径 |
实现要求 |
√ |
|
测试结论
爱码室Beta版本的爬虫系统在多方面都进行一定的测试。大致进行的测试，包括内容总结如下：功能、可靠性、安全性、可使用性四个方面进行了全面、严格、规范的测试。测试结果表明：爬虫达到Beta版本发布的要求，并具有以下特点：
1、系统架构先进、简单，且相比于原来的版本更加优化。
2、功能丰富度有所提高，如果继续开发可以针对安全性进行进一步开发。
3、系统可靠性高，且相比于原来版本而言，分类更加明晰。对客户机掉电或强行关机后重启机器、网络异常中断。有完善的数据校验机制，对用户输入不符合要求的数据，给出了简洁、准确的提示信息，必要时给出了帮助。而同时，数据库内信息分类明晰，有利于用户合理调用数据库信息。
测试结论：通过。
