【BUAA软工】Beta阶段测试报告
| 项目 | 内容 |
|---|---|
| 班级：北航2020春软件工程 | 博客园班级博客 |
| 作业：Beta阶段测试报告 | 测试报告 |
发现的bug
Beta阶段的bug
- [已解决]CPP项目无法进行调试
- [已解决] 注册界面注册后不能够自动跳转到登录界面
- [已解决] 草稿纸功能当程序没有输出或者程序异常时，output栏没有任何反应
- [已解决] 前端页面资源过于庞大，加载需要较长时间
- [已解决] 当从只读项目退出打开可写项目时，Terminal仍为只读状态
- [已解决] CPP尚不能够进行多文件调试
Alpha遗留bug [均已解决]
- Terminal最后一行会被挡住
- 下拉菜单栏有滚轮
- 右键菜单栏点了可能没反应
- 不能够重复上传同一文件
场景测试与压力测试
在beta阶段，我们的测试除了继续沿用alpha阶段的单元测试外，还采用了AB压力测试和Jmeter测试，直接从用户操作的角度和流程进行黑盒测试，模拟多用户并发场景，下面将分布介绍如下内容
- 后端的单元测试
- AB压力测试
- Jmeter测试
单元测试
后端单元测试
后端的单元测试较多，但在后期开展还是存在一些困难。因为后端涉及很多相关的软件，如云盘、Docker容器等，这些内容本身不属于后端服务器，单从服务器代码难以获取这些内容的状态，因而导致一些测试的展开有一定的困难。
基于MVC的设计，后端的核心功能代码和请求处理代码的耦合较低，所以后端主要针对核心功能代码进行了测试
同时，因为前后端分离的设计，后端实现的代码和API在前端开发过程中会被一直调用，因而在开发使用过程中前端也是在对相关的内容进行测试，在前端工作正常的条件下，有相当的把握认为后端代码工作正常
AB压力测试
AB全称是Apache Bench，是通过多线程发出请求对目标网站进行压力测试的工具，我们在发布前使用了该工具对我们的项目网站进行了相应的测试，具体内容如下
由于我们项目的特性，导致网站的并发量并不会很高，同时，因为不同于传统的OLTP应用，我们的应用的核心压力也不在数据库，所以除非恶意为之，否则高并发场景一般不会出现在我们的项目中。
- 单线程100请求总用时
- 10线程100请求总用时
- 10线程1000请求总用时
从上面的测试中，可以看出，在正常甚至高使用量下，前端内容分发过程不会成为软件的性能瓶颈。
关于软件的性能瓶颈，在alpha阶段我们也有说明，其实是内存占用，虽然在beta阶段，通过云存储技术解决了硬盘占用的问题，但是多用户同时使用时的内存消耗还是无法回避的。
当然，为了缓解上述问题，我们也提出了一个更加轻量级的“草稿纸”概念，该子应用不依赖于docker技术，大大减少了一个用户的资源开销，同时，在设计上，该子应用更加吸引人，更容易成为用户点击的第一个按钮，从而通过用户行为引导的方式减少了很多不必要的资源开销。也就是说，让那些只想进来瞧一瞧的用户不会占用过多的系统资源。
Jmeter测试
该项测试是使用的BlazeMeter配合Jmeter完成的，下面简单介绍一下这两项工具的功能
BlazeMeter
该工具可以作为浏览器插件安装，功能是可以录制用户在浏览器上的操作并保存为.jmx文件（Jmeter的工程文件）
通过使用该工具，可以模拟录制用户使用我们产品的全过程，并将操作过程保存下来，供Jmeter进行回放测试。
Jmeter
该工具可以定义一个工程组，其中可以包含一系列HTTP请求，同时可以设置相关的断言。一个工程组可以重复执行，从而使得测试变得可重复。
在这里，Jmeter可以用上一个工具录制得到的工程文件生成相应的测试计划，从而进行黑盒测试。
运行该测试计划，可以生成相应的HTML形式的测试报告
从中可以看出，整个流程的执行都是正常的，全部正确返回
同时还会生成一些统计数据，包括平均响应时间、最大响应时间、最小响应时间等内容。
可以看到，没有任何错误发生。
此外，我们还对前端页面的性能进行了测试，重点关注了首页的加载时间方面的问题。
如下图所示，是在我们优化首页性能前，首页的加载时间统计
其中，红线代表的文件占据了大量的加载和页面渲染的时间，对此，我们做了文件压缩和一些不必要的文件去除以及文件瘦身，经过一系列优化，最终的结果如下图所示。
和优化前相比，峰值被削去了，整体的响应时间都在40ms以内，首页的加载速度也得到了明显的提升。
回归测试
对于功能性要求比较高的后端设计，我们会在新增功能，或者改写旧逻辑后，在push到远程仓库前，会重新跑一遍之前进行过的单元测试，以确保旧功能不受影响：
例如对于后端的container-server，在beta阶段需要支持新建文件以及新建文件夹时支持多层目录创建。因此在拓展该接口功能时，需要测试原功能是否仍然有效，这里需要重新运行原单元测试，以检验是否存在bug：
describe('POST /dir/new', function() {
it('response with json', function (done) {
request(app)
.post('/dir/new')
.send('dir_path=' + encodeURIComponent('./test/tt/'))
.expect(200)
.end(function (err, res) {
if (err) {
done(err)
}
should.eql(fs.statSync('./test/tt/').isDirectory(), true)
done()
})
})
})
describe('POST /dir/new', function() {
it('response with json', function (done) {
request(app)
.post('/dir/new')
.send('dir_path=' + encodeURIComponent('./test/tt/'))
.expect(200)
.end(function (err, res) {
if (err) {
done(err)
}
res.data.message.should.eql("存在同名文件夹")
done()
})
})
})
在运行完单元测试后，结果如下：
说明新接口运行并不影响旧功能，因此能够上线，因此再将代码push到远程，并且在pr前提交单元测试通过的相关截图，以方便组员进行复审通过。
测试矩阵
我们项目的测试矩阵基本和Alpha阶段一致，选择和Alpha阶段的设备和环境进行测试，不同的是对新增功能检测是否能够正常访问：
| 系统 | 浏览器 | 操作流程 | 登录页面 | 首页 | IDE页下拉菜单栏 | IDE文件树 | IDE编译运行 | IDE的Terminal | 刷新 | 编辑器 | 草稿纸功能 | 分享功能 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Windows | Chrome | 基本流畅 | 功能正常 | 功能正常 | 排版不太对齐，功能正常 | 右键菜单栏不太灵敏，功能基本正常 | 正常 | 正常 | 正常 | 显示与功能均正常 | 正常 | 正常 |
| Windows | Edge79以下版本 | 基本流畅 | 功能正常 | 功能正常 | 排版不太对齐，功能正常 | 显示正常，功能正常 | 不能使用 | 正常 | 正常 | 不能使用 | 不能使用 | 不能使用 |
| Windows | Edge79以上版本 | 基本流畅 | 功能正常 | 功能正常 | 排版不太对齐，功能正常 | 显示正常，功能正常 | 正常 | 正常 | 正常 | 显示与功能均正常 | 正常 | 正常 |
| MacOS | Chrome | 基本流畅 | 功能正常 | 功能正常 | 排版不太对齐，功能正常 | 显示正常，功能正常 | 正常 | 正常 | 正常 | 显示与功能均正常 | 正常 | 正常 |
| MacOS | Safari | 基本流畅 | 功能正常，如果打开跨站追踪则不能正常登陆 | 功能正常 | 排版不太对齐，功能正常 | 显示正常，功能正常 | 正常 | 正常 | 正常 | 显示正常，跳转到引用存在不显示的bug | 正常，但存在滚轮 | 正常 |
| MacOS | Firefox | 基本流畅 | 功能正常 | 功能正常 | 排版不太对齐，功能正常 | 显示正常，功能正常 | 正常 | 正常 | 正常 | 显示与功能均正常，部分快捷键与浏览器冲突 | 正常 | 正常 |
| Ubuntu | Chrome | 基本流畅 | 功能正常 | 功能正常 | 排版不太对齐，功能正常 | 显示正常，功能正常 | 正常 | 正常 | 正常 | 显示与功能均正常 | 正常 | 正常 |
出口条件
我们产品Beta阶段的出口条件主要有以下四个：
- 比Alpha美化的UI
- 上线了Beta阶段新功能：草稿纸功能和项目共享功能
- 完善了Alpha的功能：调试功能，以及下载上传等功能
- 优化了后端容器管理机制，支持更多项目的存在，回收不必要的资源避免资源浪费
更多的优点请详见Beta阶段发布声明，这里不再一一列举。
