软件测试之微软学术搜索(Microsoft Academic Search)
微软学术搜索:http://academic.research.microsoft.com
测试人员:
北航计算机学院 100616班 胡仁君 100617班 全风楠
我们在软件工程上和其他团队互相交换了项目,测试别的组同学的项目,发现了不少Bug。这一次我们测试邹老师团队的MS学术搜索功能,也来找Bug。
首先,这个软件的主要功能是搜索,在软件的开发历程(详情请点这里)里也已经提到了,那么我们就可以说一个用户对于搜索结果的印象基本上代表着对软件整个功能的评价。其次,既然用得到微软的学术搜索,那么用户应该最起码有一定学术水平,要搜索的应该是有科技含量的论文以及类似的作品。
现在我恰好对Android系统的Dalvik虚拟机有很浓厚的兴趣,正如前面提到的,我作为一个用户也有一定的计算机基础,在搜索的时候期望看到的是很多很多关于Dalvik虚拟机的论文、技术博客甚至是大部头的工具书,这些能激起作为一个IT人的兴奋,于是我期待地输入Dalvik,得到的结果是这样的:
当然我第一反应是“咦,这个功能很酷,自动转换到另一个相似的能够搜到更多结果的关键词(但是怎么就变成David了……)”。但是,这明显不是我要的啊!凭借经验我知道,这里的链接一定是有用的:
于是我点击它:
得到正确结果了!赞一个!
我在想,确实转换关键词这个功能对于那些粗心输错了的人很有帮助,但是!如果我没有输错,我就是想要搜Dalvik,还要反复点一次以告诉它“我没错,就是这个词”,他才会“不情愿”地转到我要的结果,这算不算是软件把自己的想法强加到用户头上,它认为我“应该是想要David”,哪怕我确确实实输入的是“Dalvik”?
我还是不死心,毕竟只输入一个词不能提供精确搜索足够强的条件,那么两个关键词应该没问题吧~既然是虚拟机,我就再加一个词:
和前面的一样……这次也是点击链接跳转到期望界面:
我又批评自己,这是因为我输入的关键词语义不通啊要输入虚拟机只输入个virtual,既然你知道是虚拟机(virtual machine),就把英文全拼输进去啊!用学术搜索还这么不专业,这种表现作为用户代表档次很低啊!于是我终于把全拼输进去:
无语凝噎,不觉得你自动转换了关键词才是语义不符么……我之前语义不符你给我换了我忍了现在我语义正确了你却给我换个不符的是什么情况……
当然我平复心情后点击了链接跳转到我最最想要的界面,这才是我想要的啊!试着输入了三次关键词,到头来还是要自己手动跳转,是不是学术搜索太专业了,我的境界被甩出好几条街了啊……
总结来就是:有这样一个功能是很棒的,无可否认。但是我们不能忘了一个软件的功能是为了更好地为用户服务。如果这样一个功能给用户带来的麻烦或许还大于便利的话,我们就该考虑一下这个功能的存在意义了。如果多次测试发现实际效果与期望相差甚远,不得不承认,自动替换关键词就是一个bug。
我们可以保留这个功能,但需要做些改进:显示时还是默认显示用户输入的关键词,但是有一个提醒:想找的是否应该是······什么的,这样让用户自己决定要不要跳转到能搜到更多结果的页面。
以上不够严肃不够专业地调侃了一下学术搜素,接下来我们再来正经地看待它。
在了解微软学术网站的基础上,我们在北航计算机学院2010级同学内部找了一位平时经常会使用学术论文搜索功能的同学做使用体验和采访。
1)吴桐,男,北航计算机学院2010级本科生,行政班是100614班。该生经常参加各类科技实践类竞赛,从校内的冯如杯到校外的Win8 App开发大赛,再到国家级的SRTP计划,各种规模的竞赛都有涉及。他在参加这些活动的过程中,会大量地使用到学术论文搜索功能,因此我们将他作为采访对象。
2)使用图片:
3)问题: 在使用这个产品的过程, 你的问题解决了么? 软件在数据量/界面/功能/准确度上各有什么优缺点?
回答:说实话,微软学术搜索并未解决我的问题,究其根本原因是它没有实现中文文献的检索。这等于直接减少了1/6的用户群,而其最终的影响应该还远在这个数字之上。
项目 |
优点 |
缺点 |
数据量 |
数据量充足,搜了一个“information extraction”,共反馈了7905篇文献 |
数据更新慢,还是IE”,只有2篇文献是2012年的。 |
界面 |
界面的布局分配合理,使用起来很方便,使用各功能都不需要花费很多的点击 |
界面不够简洁,这个其实不算缺点,而是优化了用户使用的副作用。界面简洁了在使用效果上就要打折扣,因为用户在使用过程中需要更多的操作。 有时候界面字体太多,重要信息的突出效果不明显。至少匹配到的用户输入信息需要特殊标注。 |
功能 |
主体功能是文献检索,但是微软学术搜索最大的功能亮点是它强大的图形和报表功能。别的文献检索系统也有类似的功能,但是微软将这个需求放到非常高的地位。透过图标可以看到一些平时不大会注意的信息。 同时,它维护了非常多的作者、组织等信息。 第三,实现了多标准的文献排序,检索文献比较方便。 |
没有实现中文检索 不是所有的文献都提供下载,虽然可以下载的文献都有标注 |
准确度 |
反馈的信息都是准确的,有一定参考价值。 |
不知道是不是数据库中的相关信息都被反馈,即命中率问题。 |
4)改进意见
增加中文文献及中文关键字搜索功能;
有一个中文版的网页;
用户关键字命中用不同的效果突出。
这个软件有很多可以提高的部分,如果我是PM,如何使产品胜出呢?
1)市场情况
目前学术搜索系统基本都是以网页为载体,针对移动的客户端尚未成熟,微软学术搜索推出的WP7客户端,其余的没发现。
2)功能:使用NABC模型分析移动端的学术搜索系统
N (Need 需求)
针对在移动设备上使用的用户,我们应考虑到移动设备最大的特点——使用地点的随意性,我们可以实现一个微软学术搜索的移动客户端版本,在web版实现学术文献搜索的基础上,增加适合移动设备特点的功能。
A (Approach 做法)
考虑到为用户提供在移动设备上快捷简便的使用体验,设计以下功能:
- 提供收藏和跟踪功能,用户可以收藏自己感兴趣的领域,系统跟踪该领域最新的文献资料,第一时间提醒用户;
- 结合其他定位软件,用户到达一个地方是,可以展示该区域最专业的一项研究;
- 可变视图模式。考虑到移动设备屏幕大小有限,可以选择设置为简洁模式,搜索的文献或学者结果时仅显示标题或学者最简单的信息,点击时展开,显示较详细的信息。
B (Benefit 好处)
互动性:实现了上述功能,使得该学术搜索系统不再仅仅是用户单方面向程序发出请求并获得结果的平台,系统可以接受用户跟踪命令,主动反馈给用户 最新的文献信息,是用户与学术资源互动的平台。
用户差异性:系统可以根据客户的喜好,有针对性的提供给用户最需要的资源,节约了用户搜索相关信息的时间。
平台差异性:针对移动平台不用的屏幕大小,提供简洁和常规两种阅读模式。。
C (Competitors 竞争)
目前对于学生机研究人员,在网络上搜索大量的学术资源是必要而又比较繁琐的工作。一个易操作,功能强大的学术搜索平台是有很大市场价值的。而目前的相关产品功能大都仅限于论文资源的搜索,加以学科领域分类,很少对资源的相互关系加以梳理,针对用户的个性化信息支持更是几乎没有。所以经过分析,完成这个学术搜索移动客户端的市场价值巨大,而且目前阶段市场竞争还不是特别强烈,但面对其他相关学术搜索产品的不断升级,竞争压力在后期应该会有所上升。
3)角色配置
PM一人,美工、测试1人,开发3人。
4)12周计划
项目采用迭代式开发过程,有M1阶段和M2阶段。M1完成后有一次小组集体的总结会议,分析M1阶段的成果和问题,调整M2的工作重点。
组员每天上报自己本日的完成情况和明天的计划;团队每周都召开例会分析项目的进度与下周计划。
时间 |
任务 |
第1周 |
需求分析,用户调查 |
第2周 |
系统框架设计,数据建模,流程图、类图设计 |
第3-6周 |
M1开发冲刺 |
第7周 |
M1剖尸分析,重新调整开发计划 |
第8-10周 |
M2开发冲刺 |
第11周 |
项目稳定阶段,测试和调试Bug |
第12周 |
项目收尾,用户测试,发布 |