Daily Scrum 11.19 部分测试报告

下面是我们的部分测试报告:

功能测试部分:

1
Exception in thread "Thread-11" java.lang.IllegalArgumentException: Invalid uri 'http://tieba.baidu.com/home/main?un=?????1': Invalid query
at org.apache.commons.httpclient.HttpMethodBase.<init>(HttpMethodBase.java:222)
at org.apache.commons.httpclient.methods.GetMethod.<init>(GetMethod.java:89)
at DownLoadFile.run(DownLoadFile.java:59)
出现页面:贴吧404
2
Exception in thread "Thread-13" java.lang.IllegalArgumentException: Invalid uri 'http://tieba.baidu.com/f/index/forumpark?cn=??????&ci=0&pcn=???&pci=0&ct=1&rn=20&pn=1': Invalid query
at org.apache.commons.httpclient.HttpMethodBase.<init>(HttpMethodBase.java:222)
at org.apache.commons.httpclient.methods.GetMethod.<init>(GetMethod.java:89)
at DownLoadFile.run(DownLoadFile.java:59)
出现页面:?????贴吧

上面几个都是因为url网址里面的字符无法识别导致的

3 测试了爬取若干页面所需时间:

网址:http://ask.csdn.net
爬取页面数:100
远航所有时间:22898(毫秒,下面的数字都用毫秒计算)
newbe所用时间:24318
cpu占有率:34.3%-44.7%
所占内存:161.6MB
爬取页面数:1000
远航所用时间:596204
newbe所用时间:855707
cpu占有率:29.6%-43.8%
所占内存:199.1-228.6MB
极限情况:
尝试爬取10000个页面,但是由于爬取速度随着爬取页面数的增加明显减慢,导致爬取过程缓慢,而且中途总是出现异常,最终最高达到4571个页面,时间:8378920(毫秒),花费了2小时以上,感觉这种极限极限测下去意义不是很大,所以就停止了。爬虫速度越爬越慢感觉非常明显,而且测试的时候偶然性很大,和电脑运行时的情况也有很大关系,而且本人测试的时候爬取失败率有点高,失败率达到了惊人的20-%-30%,感觉这方面是不是可以改进下,而且newbe爬虫速度也比远航的略慢。

下一步要开始测多个网址的情况和关键字搜索的情况。希望在下次测试结果之前能够把由于网页字符不能识别导致的bug解决掉。

UI测试: 

1.对现有UI各个BUTTON的功能测试
所有按钮功能正常,没有问题。

2.对现有UI的布局的建议、改善方案与理由(尤其在细节方面)

a.首先是单词错误,how much pages 改为how many pages

b.how to use 按钮的位置不合理,目前是处于how much pages后面,逻辑性不强。改善建议是将其放在整个界面的顶部,并且将其长度拉长,使用户第一眼看到的的就是我们的how to use

c.or you can select the file按钮应放在第二模块的位置,即放在URL seed 下面,同时改名为or select the URL file(txt)。改动理由是这个模块与URL seed模块功能是一致的,同时其名字也应直接显示其功能

d.应统一所有按钮说明的单词写法,全部改为每个单词首字母大写。URL seed-> URL Seed,keyword->Keyword,how many pages->How Many Pages等


3.对使用说明文档的重新编写,要求文档简洁、清晰,方便用户

本爬虫软件是由newbe软件工程队在远航1617软件工程队的爬虫软件基础上进行改写开发而成的。
使用方法:
1.输入网址:在URL Seed中输入爬取的网址,可以输入多个网址(缺省为百度搜索);或者选择yes按钮后用Select File按钮选择包含多个URL地址的txt文件
2.输入关键词:在Keyword中输入即可(缺省为通常爬取)
3.输入爬取数:在How Many Pages中输入即可(不可缺省)
4.选择页面保存地址:通过Save Path选项后的select即可,还可以通过open按钮打开目录
5.爬取:点击Start按钮;爬取开始后可以暂停Pause和继续Continue
6.分析:点击Analyze按钮
7.关闭:点击Close按钮
PS:
1.运行本爬虫软件需要连接指定服务器,服务器不是全天开启的,不连接服务器本软件无法正确运行。
2.本爬虫软件具有关键字搜索功能,并且可以展示爬取过程。
3.Keyword关键字搜索,可以通过输入关键字对爬取的网页进行过滤处理,只爬取带有关键字的网页(并进行排序,得到根据热度排列的相对最优结果);
4.由于爬取速度有限,建议爬取网页的数量不要输入太多。
5.当爬取成功网页数达到How Many Pages中输入的网页数量时,爬取过程将会停止。
6.analyze中的饼状图是对服务器中存有的所有网页进行分类分析;条形图是本次爬取中根据热度排列的结果。

4.对已产生的图表的建议与测试
测试正常,全部实现了既定功能;显示清晰,标示了所有的情况。

 

下面是今天的燃尽图:

 

posted on 2014-11-19 23:01  newbe软件团队  阅读(233)  评论(0编辑  收藏  举报