Crawling is going on - Beta版本测试报告
[Crawling is going on - Beta版本]
测试报告
|
文件状态： [] 草稿 [√] 正式发布 [] 正在修改 |
报告编号： |
|
||
|
当前版本： |
2.0.2 |
|||
|
编写人： |
周萱、刘昊岩、居玉皓 |
编写日期 |
起：2013-12-8 止：2013-12-16 |
|
|
审批人： |
林谋武 |
审批日期 |
2013-12-17 |
|
|
保密级别： |
|
|||
版本变更记录
|
日期 |
版本 |
作者/修改者 |
描述 |
审核人 |
|
2013-12-8 |
2.0.0 |
周萱 |
创建 |
林谋武 |
|
2013-12-12 |
2.0.1 |
居玉皓 |
修改 |
林谋武 |
|
2013-12-16 |
2.0.2 |
刘昊岩 |
修改 |
林谋武 |
|
|
|
|
|
|
目录
第一章 引言
1.1编写目的
1.2项目背景
1.3参考资料
1.4术语和缩略语
第二章 测试概要
2.1测试用例设计
2.2测试用例属性
2.2.1功能性
2.2.2 可靠性
2.2.3 可使用性
2.2.4 安全性
2.3测试环境与配置
2.3.1功能测试
2.3.2性能测试
第三章 测试内容和执行情况
3.1项目测试概况表
3.2功能
3.2.1 UI界面基本功能测试
3.2.2 UI界面附加功能测试
3.2.3爬取内容保存功能
3.3性能（效率）
3.3.1测试用例
3.3.2设备效率
3.3.3测试用例补充说明
3.4可靠性
3.5安全性
3.6易用性
第四章 缺陷的统计与分析
第五章 测试结论
项目基本信息
|
项目名称 |
Crawling is going on |
|
客户方 |
北京航空航天大学计算机学院 IloveSE 小组 |
|
开发方 |
北京航空航天大学计算机学院 远航1617 小组 |
|
项目委托时间 |
2013-11-27 |
|
项目测试时间范围 |
起：2013-12-11 止：2013-12-16 |
|
测试参与人员 |
刘昊岩，周萱，林谋武，居玉皓 |
第一章引言
1.1编写目的
本测试报告为Crawling is going on的关于爬虫程序Beta版本的测试报告，目的在于总结测试第二阶段开发任务的测试以及分析测试结果，描述系统是否符合此新版本的需求。本阶段我们的测试人员主要为原本组成员，另外还有我们的交换成员。而我们的客户参与到了测试结果的审核和考察当众。预期参考人员包括测试人员、开发人员、项目经理、开发经理和需要阅读本报告的其他小组及其小组成员，以及软件工程课程老师。
1.2项目背景
我们小组的研究课题是：在已经完成的爬虫程序的基础上进行功能的拓展和优化，编写一个更实用的爬虫软件，编写时会应用到学长的部分代码并在其基础上完善创新。在此版本里，学长的代码所能给予我们借鉴的内容已经很少了，所以大体代码编写都是由组内成员自行完成。截止到发布为止，我组从以下几个方面着手进行改进和完善：
1.加强去广告功能
2.分类保存扒取到的文件
3.增加视频抓取功能并给出视频连接
4.网页质量判定
5. UI界面的优化
6.输入模式的选择优化和多种子输入的实现
7.异常处理优化
1.3参考资料
|
资料名称 |
作者 |
|
自己动手写网络爬虫 |
罗刚 |
|
Web数据挖掘 |
(Soumen Chakrabarti)查凯莱巴蒂 |
|
软件测试 |
肖汉 |
|
精通SQL Server 2008完全自学手册 |
金玉明 |
1.4术语和缩略语
|
缩略语 |
全意 |
|
爬虫 |
一种自动获取网页内容的程序，是搜索引擎的重要组成部分 |
|
URL |
中文名称为“统一资源定位符”，是互联网上标准资源的地址 |
|
过滤 |
去除网页中不符合需求的内容，例如广告等 |
|
线程 |
爬虫程序运行时的程序调度单位 |
第二章测试概要
系统Beta版本测试从2013年12月8日开始到2013年12月16日结束，共持续8天。测试功能点4个，执行441个测试用例，平均每个功能点执行测试用例110个，测试共发现53个bug，其中严重级别的bug 17个，无效bug 36个，平均每个测试功能点4个bug。
Beta版本为第二个测试版本，实现和测试都按预定计划完成。这是本学期我们小组开发程序的最终版本，虽然有些问题最后也没能完美解决，但是绝大多数设计的功能都实现了。
2.1测试用例设计
此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划的规定我们采用等价类划分法，错误推测法和功能图分析法对测试用例进行了设计。对规定的测试计划在测试执行中都有体现。依据测试计划和测试用例，对系统进行了完整的测试。
设计用例依据的功能图如下：
2.2测试用例属性
2.2.1功能性
系统实现的主要功能，包括根据用户选择的seed输入方式进行种子输入和需要爬取的网页数目对相关URL进行爬取。
系统实现的次要功能，包括显示当前爬取进度，显示当前爬取网页的URL。
URL输入字段必须不含有特殊字符。
2.2.2 可靠性
操作按钮提示信息正确性，一致性，可理解性
限制条件提示信息正确性，一致性，可理解性
输入方式可理解性
中文界面下数据语言与界面语言的一致性
2.2.3 可使用性
系统必须在实现用户需求的层次上实现比较稳定的运行。同时和用户的操作系统兼容，保证用户可以稳定地使用。
2.2.4 安全性
系统在爬取数据的过程中应该保证用户的信息和数据的安全。
2.3测试环境与配置
2.3.1功能测试
|
数据库服务器配置 |
||||
|
机器名（IP） |
CPU |
内存 |
软件环境（操作系统、应用软件） |
|
|
219.224.191.24 |
2.67GHz |
4.00GB |
Windows server 2008 R2 Standard |
|
|
|
||||
|
应用服务器配置 |
||||
|
机器名（IP） |
CPU |
内存 |
软件环境（操作系统、应用软件） |
|
|
219.224.191.24 |
2.67GHz |
4.00GB |
Windows server 2008 R2 Standard |
|
|
|
||||
|
其他说明 |
无 |
|||
|
|
|
|
|
|
2.3.2性能测试
|
数据库服务器配置 |
||||
|
机器名（IP） |
CPU |
内存 |
软件环境（操作系统、应用软件） |
|
|
219.224.191.24 |
2.67GHz |
4.00GB |
Windows server 2008 |
|
|
|
||||
|
应用服务器配置 |
||||
|
机器名（IP） |
CPU |
内存 |
软件环境（操作系统、应用软件） |
|
|
219.224.191.24 |
2.67GHz |
4.00GB |
Windows server 2008 |
|
|
|
||||
|
其他说明 |
无 |
|||
|
|
|
|
|
|
第三章测试内容和执行情况
3.1项目测试概况表
项目测试概况表
|
项目版本 |
开始时间 |
结束时间 |
用例数 |
用例通过数 |
问题数 |
用例通过率 |
|
个 |
个 |
个 |
％ |
|||
|
2.00 |
2013.12.8. |
2013.12.11. |
113 |
107 |
6 |
95 |
|
2.01 |
2013.12.11. |
2013.12.14. |
156 |
149 |
7 |
96 |
|
2.02 |
2013.12.14. |
2013.12.16. |
172 |
168 |
4 |
98 |
3.2功能
功能测试情况概要
|
模块名称 |
开始时间 |
结束时间 |
用例数 |
用例通过数 |
问题数 |
用例通过率 |
|
个 |
个 |
个 |
％ |
|||
|
UI界面基本功能测试 |
2013.12.8. |
2013.12.11. |
50 |
49 |
0 |
98 |
|
UI界面附加功能测试 |
2013.12.11. |
2013.12.14. |
50 |
48 |
2 |
96 |
|
爬取内容保存功能 |
2013.12.14. |
2013.12.16. |
50 |
50 |
0 |
100 |
3.2.1 UI界面基本功能测试
|
功能 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
URL接收 |
UI界面可以接收用户输入的URL |
功能实现 |
√ |
|
|
爬取模式选择 |
用户可以根据自己的需求在UI界面内选择种子网站的输入模式 |
功能实现 |
√ |
|
|
爬取数据接受 |
UI界面可以接收用户输入的爬取数据要求 |
功能实现 |
√ |
|
|
多种子输入地址 |
用户可以在UI界面内进行多种子seeds存储路径的输入 |
功能实现 |
√ |
|
3.2.2 UI界面附加功能测试
|
功能 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
登录 |
输入正确的用户名和密码可以登录系统。 输入错误的用户名和密码系统给出明确提示。 |
功能实现 |
|
√ |
|
爬取页面数量设定 |
用户输入所需要爬取的网页数量，当爬取的网页数目达到所设定的数目时停止爬虫程序。 |
功能实现 |
√ |
|
|
爬取页面URL显示 |
显示当前已经爬取过的页面的URL地址 |
功能实现 |
√ |
|
|
爬取页面数量 |
测试所能爬取页面的上限数量 |
测试性能 |
√ |
|
|
爬取重置 |
用户通过点击reset按钮可以重置爬虫程序 |
功能实现 |
√ |
|
|
URL分析 |
用户通过点击analysis可以进行多种子输入文件的分析并爬取 |
功能实现 |
√ |
|
3.2.3爬取内容保存功能
|
功能 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
存储爬取到的HTML |
爬虫程序结束后能在服务器上查看到所爬取到的HTML网页 |
功能实现 |
√ |
|
|
数据库填表 |
根据爬取到的HTML的相关信息 |
功能实现 |
√ |
|
|
内容分类 |
根据所爬取到的信息的URL地址或者内容进行类型区别，并在数据库对应字段进行别分赋值 |
功能实现 |
√ |
|
3.3性能（效率）
性能测试情况概要
|
测试序号 |
URL地址 |
网页数目 |
测试时间(单位：毫秒) |
|
|
|
||||
|
1 |
http://ask.csdn.net |
100 |
21846 |
|
|
2 |
http://msdn.microsoft.com/en-us/ |
100 |
248769 |
|
|
3 |
http://q.cnblogs.com |
100 |
20187 |
|
|
4 |
http://en.wikipedia.org/wiki/Main_Page |
100 |
121563 |
|
|
5 |
http://www.buaa.edu.cn |
100 |
13452 |
|
|
6 |
http://ev.buaa.edu.cn |
100 |
43785 |
|
3.3.1测试用例
测试系统在预定环境和负载下的响应速度。
|
序号 |
用例名称 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
||||
|
1 |
爬虫程序初始化 |
用户能根据自己的需求输入所要爬取的网页的地址和数量 |
功能实现 |
√ |
|
|
2 |
文件下载 |
爬虫程序下载文件的速度 |
有待优化 |
√ |
|
3.3.2设备效率
|
序号 |
爬取数 |
CPU占用率（%） |
内存占用率（KB） |
|
1 |
10 |
2.28 |
174650 |
|
2 |
100 |
8.46 |
190878 |
|
3 |
1000 |
29.54 |
152768 |
3.3.3测试用例补充说明
|
序号 |
URL地址 |
极限测试网页数 |
|
|
|
|||
|
1 |
http://ask.csdn.net |
4535 |
|
|
2 |
http://msdn.microsoft.com/en-us/ |
840 |
|
|
3 |
http://q.cnblogs.com |
443 |
|
|
4 |
http://en.wikipedia.org/wiki/Main_Page |
786 |
|
|
5 |
http://www.buaa.edu.cn |
745 |
|
|
6 |
http://ev.buaa.edu.cn |
307 |
|
3.4可靠性
|
测试内容 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
掉电 |
客户机掉电或强行关机后重启机器，不丢失数据。 |
实现要求 |
√ |
|
|
爬取内容实时下载 |
在爬虫程序意外或者人为中断时，已经爬取到的HTML内容已经保存 |
实现要求 |
√ |
|
|
爬取内容分类 |
爬虫程序获取资源后进行恰当分类，以保证数据的合理可靠 |
实现要求 |
√ |
|
3.5安全性
|
测试内容 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
用户权限 |
所有授权用户是否能在所授权限下进行工作，不容许超权限。 |
实现要求 |
|
√ |
|
数据库安全性 |
数据库对于用户而言仅有查询的权限而没有修改、删除等权限 |
实现要求 |
√ |
|
|
爬取到的信息的安全性 |
所爬取到的信息放在特定的路径内，只有指定用户可以提取 |
实现要求 |
√ |
|
3.6易用性
|
测试内容 |
基本要求 |
测试情况 |
测试通过 |
|
|
是 |
否 |
|||
|
易安装性 |
安装参数给出默认值或提示，需要用户干预的地方尽量少，操作方便。 |
实现要求 |
√ |
|
|
简易界面 |
在参考功能使用说明书的前提下，能很轻松的使用该程序 |
实现要求 |
√ |
|
|
操作简易 |
直接通过双击图标即可运行爬虫程序 |
实现要求 |
√ |
|
|
数据提取方便 |
通过重定向存储文件路径，用户可以更加方便的找到保存资源的文件路径 |
实现要求 |
√ |
|
第四章缺陷的统计与分析
|
缺陷类型 |
具体说明 |
原因分析 |
|
爬取网页数目 |
目前我们的爬虫程序所能爬取的网页数目有限，如果用户从UI接口输入的网页数量过大，则会停止爬取 |
当前错误处理工作还需完善，错误过滤与异常结束的判断需要精细化 |
|
爬取网页类型 |
目前我们的爬虫程序仅仅能爬取域名中不含空白符的网站，但网页内容是否含有特殊字符对爬取结果没有影响 |
特殊字符已经处理，但是空白符导致程序中URL参数受到影响，暂未解决 |
|
爬取信息类型 |
当前我们能爬取的文件类型包括html、pdf和一些视频连接，而存储到数据库内的类型分为html、pdf和quiz |
其它格式的文件的编码方式比较特殊，或者无法直接从html访问，或者不满足客户需求，所以没有进行下载设计 |
第五章测试结论
本版本的爬虫系统在多方面都进行一定的测试，相比于原来的版本，所花费的测试时间更多。大致进行的测试，包括内容总结如下：功能、可靠性、安全性、可使用性四个方面进行了全面、严格、规范的测试。测试结果表明：爬虫达到业务需求文档中的要求，并具有以下特点：
1、系统架构先进、简单，且相比于原来的版本更加优化。
2、功能丰富度有所提高，如果继续开发可以针对安全性进行进一步开发。
3、系统可靠性高，且相比于原来版本而言，分类更加明晰。对客户机掉电或强行关机后重启机器、网络异常中断。有完善的数据校验机制，对用户输入不符合要求的数据，给出了简洁、准确的提示信息，必要时给出了帮助。而同时，数据库内信息分类明晰，有利于用户合理调用数据库信息。
4、系统预测统计模型通过严格测试，以大量税收数据进行预测，使预测模型求出的预测数据更接近真实数据。对大量税收数据进行预警分析，预警结果正确。
测试结论：通过。
