Alpha阶段测试报告

iCourse课程平台测试报告

本报告由“烫烫烫烫烫”团队撰写

测试环境及工具

  • windows10/selenium/jmeter/badboy/firefox/chrome/IE
  • Mac/safari
  • 本着尽可能使用自动化测试的原则，又考虑到测试人员对java更为熟悉，因此功能测试使用java版本的selenium，首先由firefox的selenium IDE插件录制测试用例，导出为java/Junit4/webdriver格式的代码，手动修改部分代码使之能够正常运行，回归测试时只需重新运行即可。本着效率优先的原则，合理分配手工测试和自动化测试。
  • 负载测试采用jmeter和badboy实现，首先由badboy录制测试用例，导出为jmx格式，jmeter可直接使用，通过设置jmeter运行时的线程数控制网站负载，完成负载测试和压力测试。

测试用例（仅列出文件名，具体代码请查看github项目的doc分支）

  • 起初，测试人员尝试使用selenium对网站功能进行自动化测试，也花费了相当的学习时间，但是目前来看，网站规模比较小，一共也就那么几种情况，通过手工测试效率更高，测试人员将根据beta版本的手工测试的复杂程度灵活调整测试方式。下面的前三个是使用selenium进行自动测试的脚本，已在网站上运行成功，最后一个是负载测试的脚本，同样已运行成功。
  • 测试注册功能：TestRegister.java
  • 测试用户登录和访问个人中心：TestLoginAndUserInfo.java
  • 测试课程搜索功能：TestSearch.java
  • 测试下载功能：TestDownload.java
  • 负载测试：test_load.jmx

错误报告

  • 2017.11.07 版本号：931275f

    • 环境：本地运行python manage.py runserver,运行成功。

    • (已解决)bug1:打开firefox，登陆127.0.0.1:8000/course,搜索栏内输入“软件工程”，按回车，报错如下：
      nameError

  • 2017.11.11 版本号：7573ad8

    • 环境：chrome登陆buaaicourse.com
    • (已解决)点击“一般通识课”，两分钟内未返回结果，感觉搜索时间有些长(ps:也有可能是网络有问题，打算换个地方重试一下)，我们的课程应该没有标课程类别吧，可以提示暂未开放~
    • (已解决)开课院系里少了8,16,24,28,29系，如“公司财务”(8系)，“飞行性能与计划”(16系)，“博弈与社会”(29系)，“思想政治理论课－－基础”(28系),“中法学院电磁辐射波1班”(24系)。

  • 2017.11.18

    • (未解决)登录http://buaaicourse.com/course/page/31/，点击资源“第十三章.zip”，点击“下载资源”，会提示进行统一认证，输入账号密码后会显示页面不存在。重新点击“下载资源”，直接进入403 forbidden。

优化建议：

  • 2017.11.07 版本号：931275f

    • 环境：本地运行python manage.py runserver,运行成功。

    • (已解决)优化建议:打开firefox，登陆127.0.0.1:8000/course,
      [1]搜索栏内输入“软件工程”，点击“搜索”，会弹出对话框“成功！开始搜索”，
      [2]点击具体的课程类别和具体的系号，会弹出对话框“success”。
      从测试角度看，保留这两个可以理解从用户角度看，最好上线前把这个删掉记录一下，防止遗忘。

  • 2017.11.11 版本号：7573ad8

    • 环境：chrome登陆buaaicourse.com
    • (已解决)点击具体的课程类别（如“核心专业课”，会出弹窗“success”，建议删除）
    • (已解决，“我要评论”是为beta阶段开发留的)：登陆http://buaaicourse.com/course/page/27/(就是随便找了一个课程点进去)，点击“Part I Vocabulary EAP.rtf”资源(最新资源中的第一个)，在弹出的窗口中点击“好评”/“差评”/“我要评论”三个地方会返回到课程页面，如果这三个功能还没实现，建议增加提示信息，尽量避免用户误会
    • (未解决，留至beta阶段)登陆http://buaaicourse.com/course/page/257/resource/(随便找的，中国当代史的课程资源)，上传资源，一个30MB左右的东西上传失败，建议在上传窗口增加提示上传文件的上限（1MB），如果超过这个上限，则上传会失败
    • (未解决，留至beta阶段)资源上传时，用户提供的描述过长，会让“全部资源页面”排版错位，建议采用和文件名一样的处理
    • (未解决，留至beta阶段)：登陆个人中心http://buaaicourse.com/user/home/fkd15061188，对于一个新用户，个人介绍部分的默认值建议由NULL改为""或“暂无”，右侧表格内容的初始值建议改为“暂无”。“编辑资料”按钮建议增加点击后提示暂未开放

  • 2017.11.18

    • (已解决)进入课程编号为1283的课程，全部资源为空，点击“全部资源”，会弹出来一堆fail，影响用户体验。

负载&压力测试

  • 使用badboy录制下载功能的测试用例，压力测试永远模拟不了真实的压力，为了最大限度模拟真实压力，录制下载哪门课的课件时我们权衡了一下，最终选择了一门受众广泛又依赖课程中心发布资源的课程——工科数学分析（1）。

  • jmeter中设置用户数为100，循环次数为“永远”，运行起始时间为2017.11.12 15：02， 运行结束时间为2017.11.14 15：02， 平均请求响应时间为0.946s，错误率为0，100个用户，1s的平均响应时间符合我们的预期，具体数据见下图：

  • 测试人员同样尝试了用户数为200，150,120,110,105,103的情况，运行2min后，发现均会出现微小的错误，大约千分之几到百分之几的样子，这说明我们的网站比较脆弱。当用户小于等于设计负载时一切正常，当用户数超过设计负载时，响应时间没能沿时间轴延长，还有提升的空间。

场景测试（典型用户顺序按照预期数量多少排序）

  • B君：普通学生
    • 需求和目标：下载考题，准备期末考试，并看一看大神总结
    • 解决方案：核心需求为“下载”，登陆buaaicourse.com，搜索栏中输入课程名称搜索，在搜索结果中点击“进入课程”进入相应课程，点击“全部资源”，进入资源页面，点击想要下载的资源，在弹出的窗口中点击“下载资源”即可
  • D君：考研选手
    • 需求和目标：在考研相关课程上下载考研资源，阅读学长总结的考研心得
    • 解决方案：核心需求为“下载”，同B君
  • E君：刻苦学霸
    • 需求和目标：将总结的学习笔记以资源或博文的形式发布到平台上
    • 解决方案：核心需求为“上传”（目前仅支持向指定课程上传资源）。登陆buaaicourse.com，搜索栏中输入课程名称搜索，在搜索结果中点击“进入课程”进入相应课程，点击“上传资源”，在弹出的窗口中输入资源描述并选择本机资源，点击上传即可。
  • C君：成绩较差
    • 需求和目标：通过阅读学长总结的笔记，以及部分同学针对专项总结的解题技巧，对考试有很大帮助
    • 解决方案：核心需求为“上传”（目前仅支持向指定课程上传资源）。同E君
  • A君：所谓大佬
    • 需求和目标：发布博文，整理自己的学习经验，并将自己的一些成果以资源的形式发布，共大家学习
    • 解决方案：核心需求为“上传”（目前仅支持向指定课程上传资源）。同E君

测试矩阵

操作系统 硬件配置 浏览器类型 注册功能 登录功能 按系别搜索课程 搜索栏搜索课程 上传资源功能 下载资源功能 课程全部资源页面 资源上传页面 资源下载页面 课程搜索页面 课程页面 个人中心页面
win10 8G内存，64位cpu chrome 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu firefox 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu IE11 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu edge 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
mac 8G内存，64位cpu Safari 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu 世界之窗 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu 360极速浏览器 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu 360安全浏览器 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu QQ浏览器 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu UC浏览器 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常
win10 8G内存，64位cpu 搜狗高速浏览器 正常 正常 正常 正常 正常 正常，下载部分zip文件有问题 加载速度快 正常 正常 正常 正常 正常

出口条件

  • 核心功能能够正常运行且无重大bug
posted @ 2017-11-14 15:05  hotcode5  阅读(338)  评论(0)  编辑  收藏  举报