第六周 软件测试和评估
基本任务
1.计划说明
1.1 测试产品说明
我们选择对在线学习平台进行测试和评估，基础软件产品是毕博平台(A)，竞品产品是网易云课堂(B)。
1.2测试进度表
| 项目 | 内容说明 | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 20 | 30 |
| · Estimate | · 估计这个任务需要多少时间 | 20 | 30 |
| Testing Design | 测试设计 | 230 | 250 |
| · Analysis | · 需求和测试需求分析 | 30 | 40 |
| · Design Test Cases | · 设计测试用例 | 200 | 210 |
| Testing Environment | 搭建测试环境（安装测试工具、管理工具等相关运行和支撑软件） | 40 | 40 |
| Testing Implementation | 测试实施 | 30 | 30 |
| · Test | · 执行测试 | 30 | 30 |
| Reporting | 报告 | 260 | 260 |
| · Test Report | · 测试报告 | 240 | 240 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 20 | 20 |
| 合 计 | 580 | 610 |
2.需求说明
现在给出两个平台的功能模块划分图。
毕博平台：
网易云课堂：
产品可对比的共同模块：
我负责测试的模块为搜索和导航。
3.测试说明
3.1 测试用例设计思路
我负责测试的模块是搜索和导航，关注与用户的体验。两个不同的平台其设计是有很大区别的，但是测试这部分很能体现产品的细节。
功能测试方面，对导航基本上是只有一次测试，对于搜索功能可以制定一些边界测试例如空值。分别设计了20个共40个测试样例。
空值边界测试是指在搜索框内不输入内容，点击搜索：
在网易云搜索空值是没有任何提示的。
3.2测试截图
3.2.1测试用例设计截图
毕博平台测试用例如下：
毕博平台测试用例如下：
3.2.2测试用例执行截图
3.3测试工具介绍
我们组使用的测试工具为禅道，版本号为9.8.3，下载地址
4.界面截图
4.1用例导出
导出结果：
| 147 | 毕博平台(#1) | 搜索和导航(#16) | 全局导航菜单-跳转 | 1. 点开全局导航菜单 2. 点击组件 |
1. 看到全局导航菜单 2. 正确跳转相应页面 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 146 | 毕博平台(#1) | 搜索和导航(#16) | 全局导航菜单-提示 | 1. 打开全局导航菜单 | 1. 看到提示的未读消息，且消息正确 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 145 | 毕博平台(#1) | 搜索和导航(#16) | 课程-目录中搜索-按学期浏览 | 1. 点开课程页面，点进课程目录 2. 选择浏览日期，选择指定日期 |
1. 进入某课程目录 2. 显示指定日期的课程筛选结果 |
1. 2. 无筛选结果 |
3 | 功能测试 | 正常 | 1 | 1 | 2 | 失败 | wjw | ####### | 0000-00-00 | 1 | |||||
| 143 | 毕博平台(#1) | 搜索和导航(#16) | 课程-目录中搜索-按学期浏览 | 1. 点开课程页面，点进课程目录 2. 选择浏览日期，选择未指定日期 |
1. 进入某课程目录 2. 显示未指定日期的课程结果（所有结果） |
1. 2. 无课程 |
3 | 功能测试 | 正常 | 1 | 1 | 2 | 失败 | wjw | ####### | 0000-00-00 | 1 | |||||
| 141 | 毕博平台(#1) | 搜索和导航(#16) | 课程-目录中搜索 | 1. 点开课程页面，点进课程目录 2. 通过名称搜素，输入课程名称部分，点击执行 |
1. 进入某课程目录 2. 显示搜索结果 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | wjw | ####### | 2 | |||||
| 140 | 毕博平台(#1) | 搜索和导航(#16) | 课程-目录中搜索 | 1. 点开课程页面，点进课程目录 2. 通过名称搜素，字段为空点击执行按钮 |
1. 进入某课程目录 2. 提示错误或其他信息 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 139 | 毕博平台(#1) | 搜索和导航(#16) | 资源库-搜索内容 | 1. 点击资源库-左侧导航栏 2. 输入搜索内容，点击搜索 |
1. 看到搜索内容功能 2. 显示搜索结果 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 138 | 毕博平台(#1) | 搜索和导航(#16) | 资源库-搜索内容 | 1. 点击资源库-左侧导航栏 2. 搜索内容为空，点击搜索 |
1. 看到搜索内容功能 2. 提示错误或者其他 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 137 | 毕博平台(#1) | 搜索和导航(#16) | 资源库-左侧导航栏 | 1. 点击资源库-左侧导航栏的链接 | 1. 跳转相应页面 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 136 | 毕博平台(#1) | 搜索和导航(#16) | 课程-课程目录 | 1. 点击课程-课程目录中的链接 | 1. 打开相应的目录，展示该目录的所有课程 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 135 | 毕博平台(#1) | 搜索和导航(#16) | 课程-课程列表 | 1. 点击课程-课程列表中的链接 | 1. 跳转相应的课程 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 134 | 毕博平台(#1) | 搜索和导航(#16) | 课程-课程搜索 | 1. 点击课程导航 2. 左上角课程搜索输入课程，点击搜索 |
1. 来到课程页面 2. 打开页面展示搜索结果 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 133 | 毕博平台(#1) | 搜索和导航(#16) | 课程-课程搜索 | 1. 点击课程导航 2. 左上角课程搜索为空点击执行 |
1. 来到课程页面 2. 提示错误或其他 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 132 | 毕博平台(#1) | 搜索和导航(#16) | 我的机构-我的任务 | 1. 点击我的机构-我的任务中的链接 | 1. 跳转相应任务 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 131 | 毕博平台(#1) | 搜索和导航(#16) | 我的机构-我的公告 | 1. 点击我的机构-我的公告中的链接 | 1. 跳转相应公告 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 130 | 毕博平台(#1) | 搜索和导航(#16) | 我的机构-我的课程 | 1. 点击我的机构-我的课程里面的链接 | 1. 跳转到课程链接 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 129 | 毕博平台(#1) | 搜索和导航(#16) | 我的机构-工具 | 1. 点击我的机构-工具里的链接 | 1. 跳转至相应的页面 | 3 | 功能测试 | 正常 | 0 | 1 | 1 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 125 | 毕博平台(#1) | 搜索和导航(#16) | 快速链接使用 | 1. 点击“快速链接”，或者按下快捷键 2. 点击链接 3. 点击关闭 |
1. 打开“快速链接”模态框 2. 界面显示该链接 3. 关闭模态框 |
1. 快捷键无法打开“快速链接” 2. 3. 在页面顶部时，关闭按钮会被全局导航栏遮挡 |
2 | 功能测试 | 正常 | 1 | 1 | 3 | 失败 | wjw | ####### | wjw | ####### | 2 | ||||
| 114 | 毕博平台(#1) | 搜索和导航(#16) | 主导航栏分类导航 | 1. 鼠标移动到导航栏的Tab上 2. 点击一个导航栏Tab |
1. 会有字体等颜色变换，并标识可以被点击 2. 跳转相应的页面 |
3 | 功能测试 | 正常 | 0 | 1 | 2 | 通过 | wjw | ####### | 0000-00-00 | 1 | ||||||
| 113 | 毕博平台(#1) | 搜索和导航(#16) | 回到主页导航 | 1. 点击平台Logo，或者名称标题 | 1. 回到平台主页 | 1. 打开的网页是华科主页，非毕博平台的主页，另外没有网站LOGO却有可以点击的链接，属于BUG | 3 | 功能测试 | 正常 | 1 | 1 | 1 | 失败 | wjw | ####### | 0000-00-00 | 1 | |||||
4.2缺陷导出
导出结果：
4.结论说明
4.1测试结论
对于网易云课堂和毕博平台的搜索与导航，主要分为搜索功能和导航功能。
毕博平台搜索功能设计4个用例，未通过2个。16个导航用例，未通过2个。
网易云课堂搜索功能设计8个用例，未通过0个。12个导航用例，未通过0个。
可以看到，作为一款面向大众的商业系统，网易云课堂在一些用户体验的BUG处理上更好。而毕博平台对于特定用户，显得细节就没有那么注意好。其实有个很细节的问题，在毕博平台的导航部分，导航UI设计大多数没有鼠标悬浮变色。虽然微不足道，但是可能会一定程度上影响用户造成误操作之类。而快速链接的功能，其实并没有太大必要，毕博平台做出来还设定了快捷键打开这个功能，但是快捷键并不能使用。
4.2缺陷及测试用例文件
已上传至毕博平台。
5.小组贡献
6.额外发现
测试毕博平台过程中我们发现了毕博平台一个严重的BUG
扩展任务
1.1测试报告请见毕博平台附件
1.2个人说明
在测试过程中我参与负责了测试任务卡中用户版和测试观察人员的设计。在设计的过程中让我对用户操作的整体流程也有了更加清晰的认识，在与被测试人员的交流过程中发现了许多程序员思维和用户思维不一样的地方。
被测人员对于毕博平台的评价还是比较好的。认为毕博相对于其他网络课程平台来说，不仅仅提供了基本的在线学习功能，提供了小组讨论板等特色功能十分友好。
高级任务
测试专题
测试专题为前端性能测试，测试工具为Chrome开发者工具。
核心思想
主要测试主页加载速度，研究用户体验。
测试说明：测试中，我们发现网易云课堂的前端存在一些时有时无的bug，可能是来自于打包过程的编译问题，会导致页面长时间卡死。另外毕博平台必须登录后才能使用，未登录是无法看到的，所以此处测试均是登录后在浏览器使用Chrome的Performance功能里的Start profiling and reload page测试的，理论上不等于用户体验。
测试过程
毕博平台：
总共Load时间大约在763ms左右也就是1s内，主页加载时间还是非常之快的，主要花费时间是Scripting的时间，在其他Rendering的时间是非常少的。确实页面上没有用上很复杂的css样式，比较简洁，渲染也大多数是文字。如果提高的话可以优化一下JS的相关处理。
网易云课堂：
浏览器自动选取了14s的时长来监控加载，确实页面打开的时候是相当慢的，页面甚至会长时间无响应，这次测试还算是不错的一次了。
选取活动密集的时间段5.55s-10.60s时间。总时长5057ms，Scripting共占用了2749.7ms，而Rendering渲染占用了749.8ms，这是两个大头。并且此过程中出现了红色部分，也就意味着这些部分有较差的性能和用户体验。网易云课堂的主页有些过于复杂，长度也非常长，涉及很多图片。虽然采用Ajax异步获取数据可以减轻不少压力，但是仍然不能确保良好的用户体验。
答辩中制作了演示视频。
