01 | 你真的懂测试吗？从“用户登录”测试谈起 茹炳晟
现在，针对“用户登录”功能，基于等价类划分和边界值分析方法，我们设计的测试用例包括：
- 输入已注册的用户名和正确的密码，验证是否登录成功；
- 输入已注册的用户名和不正确的密码，验证是否登录失败，并且提示信息正确；
- 输入未注册的用户名和任意密码，验证是否登录失败，并且提示信息正确；
- 用户名和密码两者都为空，验证是否登录失败，并且提示信息正确；
- 用户名和密码两者之一为空，验证是否登录失败，并且提示信息正确；
- 如果登录功能启用了验证码功能，在用户名和密码正确的前提下，输入正确的验证码，验证是否登录成功；
- 如果登录功能启用了验证码功能，在用户名和密码正确的前提下，输入错误的验证码，验证是否登录失败，并且提示信息正确。
列出这些测试用例后，你可能已经觉得比较满意了，因为你感觉已经把自己的测试知识都用在这些用例设计中了。
列出这些测试用例后，你可能已经觉得比较满意了，因为你感觉已经把自己的测试知识都用在这些用例设计中了。
的确，上面的测试用例集已经涵盖了主要的功能测试场景。但是在一个优秀的测试工程师眼中，这些用例只能达到勉强及格的标准。
什么？才刚刚及格？如果你有这个想法，那我建议你在继续看下面的内容前，先仔细思考一下，这些测试用例是否真的还需要扩充。
现在，我跟你分享一下有经验的测试工程师会再增加的测试用例：
- 用户名和密码是否大小写敏感；
- 页面上的密码框是否加密显示；
- 后台系统创建的用户第一次登录成功时，是否提示修改密码；
- 忘记用户名和忘记密码的功能是否可用；
- 前端页面是否根据设计要求限制用户名和密码长度；
- 如果登录功能需要验证码，点击验证码图片是否可以更换验证码，更换后的验证码是否可用；
- 刷新页面是否会刷新验证码；
- 如果验证码具有时效性，需要分别验证时效内和时效外验证码的有效性；
- 用户登录成功但是会话超时后，继续操作是否会重定向到用户登录界面；
- 不同级别的用户，比如管理员用户和普通用户，登录系统后的权限是否正确；
- 页面默认焦点是否定位在用户名的输入框中；
- 快捷键 Tab 和 Enter 等，是否可以正常使用。
看完这些用例，你可能会说：“哇塞，原来一个简简单单的登录功能居然有这么多需要测试的点”。但是，你别高兴得太早，“用户登录”功能的测试还没结束。
虽然改进后的测试用例集相比之前的测试覆盖率的确已经提高了很多，但是站在资深测试人员的角度来看，还有很多用例需要设计。
经我这么一说，你可能已经发现，上面所有的测试用例设计都是围绕显式功能性需求的验证展开的，换句话说，这些用例都是直接针对“用户登录”功能的功能性进行验证和测试的。
但是，一个质量过硬的软件系统，除了显式功能性需求以外，其他的非功能性需求即隐式功能性需求也是极其关键的。
显式功能性需求（Functional requirement）的含义从字面上就可以很好地理解，指的是软件本身需要实现的具体功能， 比如“正常用户使用正确的用户名和密码可以成功登录”、“非注册用户无法登录”等，这都是属于典型的显式功能性需求描述。
那什么是非功能性需求（Non-functional requirement）呢？从软件测试的维度来看，非功能性需求主要涉及安全性、性能以及兼容性三大方面。 在上面所有的测试用例设计中，我们完全没有考虑对非功能性需求的测试，但这些往往是决定软件质量的关键因素。
明白了非功能性需求测试的重要性后，你可以先思考一下还需要设计哪些测试用例，然后再来看看我会给出哪些用例，相信这种方式对你的帮助会更大。
安全性测试用例包括：
- 用户密码后台存储是否加密；
- 用户密码在网络传输过程中是否加密；
- 密码是否具有有效期，密码有效期到期后，是否提示需要修改密码；
- 不登录的情况下，在浏览器中直接输入登录后的 URL 地址，验证是否会重新定向到用户登录界面；
- 密码输入框是否不支持复制和粘贴；
- 密码输入框内输入的密码是否都可以在页面源码模式下被查看；
- 用户名和密码的输入框中分别输入典型的“SQL 注入攻击”字符串，验证系统的返回页面；
- 用户名和密码的输入框中分别输入典型的“XSS 跨站脚本攻击”字符串，验证系统行为是否被篡改；
- 连续多次登录失败情况下，系统是否会阻止后续的尝试以应对暴力破解；
- 同一用户在同一终端的多种浏览器上登录，验证登录功能的互斥性是否符合设计预期；
- 同一用户先后在多台终端的浏览器上登录，验证登录是否具有互斥性。
性能压力测试用例包括:
- 单用户登录的响应时间是否小于 3 秒；
- 单用户登录时，后台请求数量是否过多；
- 高并发场景下用户登录的响应时间是否小于 5 秒；
- 高并发场景下服务端的监控指标是否符合预期；
- 高集合点并发场景下，是否存在资源死锁和不合理的资源等待；
- 长时间大量用户连续登录和登出，服务器端是否存在内存泄漏。
兼容性测试用例包括：
- 不同浏览器下，验证登录页面的显示以及功能正确性；
- 相同浏览器的不同版本下，验证登录页面的显示以及功能正确性；
- 不同移动设备终端的不同浏览器下，验证登录页面的显示以及功能正确性；
- 不同分辨率的界面下，验证登录页面的显示以及功能正确性。
说到这里，你还会觉得“用户登录”功能的测试非常简单、不值一提么？一个看似简单的功能测试，居然涵盖了如此多的测试用例，除了要覆盖明确的功能性需求，还需要考虑其他诸多的非功能性需求。
另外，通过这些测试用例的设计，你也可以发现，一个优秀的测试工程师必须具有很宽广的知识面，如果你不能对被测系统的设计有深入的理解、不明白安全攻击的基本原理、没有掌握性能测试的基本设计方法，很难设计出“有的放矢”的测试用例。
总结
首先，对于高质量的软件测试，用例设计不仅需要考虑明确的显式功能性需求，还要涉及兼容性、安全性和性能等一系列的非功能性需求，这些非功能性需求对软件系统的质量有着举足轻重的作用。
其次，优秀的测试工程师必须具有宽广的知识面，才能设计出有针对性、更易于发现问题的测试用例。
最后，软件测试的用例设计是不可穷尽的，工程实践中难免受制于时间成本和经济成本，所以优秀的测试工程师需要兼顾缺陷风险和研发成本之间的平衡。
其他补充：
1.网络延迟或者弱网或者切换网络或者断网时正常登录是否正常
2.是否支持第三方登录
3.是否可记住密码，记住的密码保存是否加密
记住密码是否有有效期，有有效期，过期之后是否会清空密码
1、GDPR相关的测试偏少，比如用户登录后存储在数据库中的用户个人信息是否加密；用户登录过程中log中是否有个人信息明文打印；
2、登录用户限制：比如同时支持10个用户登录，同时9个或者11个用户登录是否正常或者提示信息正确
关于登录，想到几点：
1.常规用例中，用户名密码是否支持特殊字符和中文等
2.是否可以使用登录的API发送登录请求，并绕开验证码校验
3.是否可以用抓包工具抓到的请求包直接登录
4. 截取到的token等信息，是否可以在其他终端上直接使用，绕开登录。token过期时间校验
5.除了前端校验格式长度等，后端是否也校验？
6. 登录后输入登录URL，是否还能再次登录？如果能，原登录用户是否变得无效
7. 登录错误后的提示是否有安全隐患
暂时想到这些，另外，可能还会有些系统特别的登录相关功能，看需求来定了。
补充几条测试过程中遇到过的印象比较深刻的细节：
1、为空和输入空字符串时的校验是否一致；
2、使用中文键盘输入字母时和使用英文键盘输入字母时传给后端的字符长度是否一致；
3、登录成功后的session时效设置；
4、安全性方面异地登录校验、更换设备登录校验、登录信息异常是否考虑账号冻结停用；是否允许第三方工具平台存储密码。
1、输入账号密码时对键盘格式是否有要求比如数字键盘；
2、密码一栏是否需要设置明暗码切换按钮；
3、输入账号密码格式不规范时是否将按钮设置为不可点击；
4、输入栏是否设置快速删除按钮
1.设备互斥时的登录情况，是否有强制退出另外一个登录；
同样的账号同时登录；
