app 测试要点

APP功能测试#

APP功能测试主要包含：

业务逻辑测试：
- 依据产品的设计文档，设计测试用例。
- 再加上一些隐性的需求测试，比如产品文档中没有涉及到的。
兼容性测试：
- 系统版本：
- - Android：原生Android系统及定制版本。
  - ios：原生系统。
- 分辨率：
- - 主要关注图片的分辨率，720 * 1280、1920 * 1080，一般公司会根据分辨处理图片。
- 网络情况：2G、3G、4G、WiFi，比如在2G网络环境，应用会不会特别慢，或者卡死等。
异常测试：
- 热启动应用：应用前后台切换的过程。
- 网络切换：WiFi --> 4G，应用应处于可用状态。
- 中断恢复：WiFi --> 断网 --> 4G，处于下载中的应用，怎么处理？断点续传？还是等待WiFi下载？
- 电话：比如正在看片片，突然来个电话，接完电话后，返回应用，此时的应用处于什么状态？
- 信息：玩游戏中，弹出了一个消息提示，不应该影响游戏。或者查看消息后在回来，游戏处于什么状态。
升级安装卸载测试：
- 升级：临近版本升级（1.0 --> 1.1），跨版本升级。
- 安装：
- - 首次安装。
  - 卸载安装。
  - 覆盖安装。
- 卸载：正常卸载、下载一般终止下载，完事在下载。
健壮性测试：
- 手机资源消耗：CPU、RAM。
- 流量消耗：数据流量、比如说图片加载消耗。可以进行压缩，图片压缩、数据压缩。
- 崩溃恢复测试：APP闪退、系统结束执行时要做那些处理。

app性能测试：

Android APP使用Python进行性能测试以及测试框架

APP性能测试

APP启动时间

冷启动

启动APP命令

adb shell am start -W -n package/activity

停止App命令

adb shell am force-stop package

获取某个APP的packageName和ActivityName的命令
```
adb logcat | grep START
```
然后打开你想获取packageName和ActivityName的应用即可。

热启动

启动APP命令和冷启动一样

停止App命令

# 模拟点击back键
adb shell input keyevent 3

自动化脚本的实现

两种方案：

获取命令执行时间，作为启动时间参考值

class App(object):
    def __init__(self):
        self.content = ""
        self.startTime = 0

    # 启动APP
    def launch_app(self):
        cmd = 'adb shell am start -W -n org.chromium.webview_shell/.WebViewBrowserActivity'  # type: str
        self.content = os.popen(cmd)

    # 停止app
    @staticmethod
    def stop_app():
        # 冷启动停止的命令
        # cmd = 'adb shell am force-stop org.chromium.webview_shell'
        # 热启动停止的命令
        cmd = 'adb shell input keyevent 3'
        os.popen(cmd)

    # 获取启动时间
    def get_launched_time(self):
        for line in self.content.readlines():
            if "ThisTime" in line:
                self.startTime = line.split(":")[1]
                break
        return self.startTime
    
# 单次测试过程
    def test_process(self):   
        self.app.launch_app()
        time.sleep(5)
        elapsed_time = self.app.get_launched_time()
        self.app.stop_app()
        time.sleep(3)
        current_time = self.get_current_time()
        self.all_data.append((current_time, elapsed_time))

    # 多次执行测试过程
    def run(self):
        while self.counter > 0:
            self.test_process()
            self.counter = self.counter - 1

在命令前后加上时间戳，以差值作为参考值

 # 单次测试过程
    def test_process(self):
        time_before_launch = int(time.time())
        self.app.launch_app()
        time_after_launch = int(time.time())
        time.sleep(5)
        # elapsed_time = self.app.get_launched_time()
        elapsed_time = time_after_launch - time_before_launch
        self.app.stop_app()
        time.sleep(3)
        current_time = self.get_current_time()
        self.all_data.append((current_time, str(elapsed_time)))

    # 多次执行测试过程
    def run(self):
        while self.counter > 0:
            self.test_process()
            self.counter = self.counter - 1

可以多次计算启动时间值，并保存到本地csv文件，进行统计分析，求平均值等，第一次获得的值最好弃用。

APP的CPU占用情况

获取数据

命令

# windows系统的cmd中，用findstr来过滤字符，不能用grep。
adb shell dumpsys cpuinfo | grep packagename

脚本的代码实现

# 单次测试过程
    def test_process(self):
        # window 下用findstr，Mac下用grep
        cmd = "adb shell dumpsys cpuinfo | findstr org.chromium.webview_shell"
        self.result = os.popen(cmd)
        cpu_value = 0
        for line in self.result.readlines():
            cpu_value = line.split("%")[0]

        current_time = self.get_current_time()
        self.all_data.append((current_time, cpu_value))

流量

命令

获取进程ID指令

# windows下用findstr代替grep，否则拿不到结果
adb shell ps | grep packagename

获取进程ID的流量指令

# pid就是上面指令获取的进程ID
adb shell cat /proc/pid/net/dev

脚本实现

# 单次测试过程
    def test_process(self):
        # 执行获取进程ID的指令 window 下用findstr，Mac下用grep
        cmd = "adb shell ps | findstr org.chromium.webview_shell"
        result = os.popen(cmd)
        # 获取进程ID
        pid = result.readlines()[0].split(" ")[5]

        # 获取进程ID使用的流量
        traffic = os.popen("adb shell cat /proc/" + pid + "/net/dev")
        for line in traffic:
            # 第一个网卡的数据
            if "eth0" in line:
                # 将所有空行换成#
                line = "#".join(line.split())
                # 然后按#号进行拆分，获取到收到和发出的流量值
                receive = line.split("#")[1]
                transmit = line.split("#")[9]
            # 第二个网卡的数据
            elif "eth1" in line:
                line2 = "#".join(line.split())
                # 然后按#号进行拆分，获取到收到和发出的流量值
                receive2 = line2.split("#")[1]
                transmit2 = line2.split("#")[9]

        # 计算所有流量之和
        all_traffic = string.atoi(receive) + string.atoi(transmit) + string.atoi(receive2) + string.atoi(transmit2)
        # 按KB计算流量值
        all_traffic = all_traffic / 1024
        # 获取当前时间
        current_time = self.get_current_time()
        # 将获取到的数据存到数组中
        self.all_data.append((current_time, all_traffic))

运行后的结果：

timestamp,traffic
2020-03-13 11:35:36,136535
2020-03-13 11:35:41,136791
2020-03-13 11:35:47,166458
2020-03-13 11:35:52,264812
2020-03-13 11:35:57,380940

数据分析

用最后一条流量值减去第一条流量值，得到本次测试运行时消耗掉的流量，然后和以往版本以及竞品进行对比，然后发现流量消耗的问题。

电量

获取电量

adb shell dumpsys battery

但是手机连接USB之后，会进入充电状态，测试电量需要在非充电的情况下，所以可以使用下面的命令切换充电状态

# 切换到非充电状态,status = 2 代表充电，非2就是非充电
adb shell dumpsys battery set status 1

脚本实现

# 单次测试过程
    def test_process(self):
        cmd = "adb shell dumpsys battery"
        result = os.popen(cmd)

        for line in result:
            if "level" in line:
                power = line.split(":")[1]

        # 获取当前时间
        current_time = self.get_current_time()
        # 将获取到的数据存到数组中
        self.all_data.append((current_time, power))

    # 多次执行测试过程
    def run(self):
        cmd = "adb shell dumpsys battery set status 1"
        os.popen(cmd)
        while self.counter > 0:
            self.test_process()
            self.counter = self.counter - 1
            # 每5秒采集一次数据, 真实测试场景建议在0.5-1小时
            time.sleep(5)

内存

获取内存

adb shell top
# -d 刷新频率， 1 代表多久刷新一次，单位秒
adb shell top -d 1
# 输出到指定文件，测试完终止命令就可以分析指定文件
adb shell top -d 1 > meminfo
# 筛选指定包名,进行分析, windows上可以用type代替cat, findstr代替grep
cat meminfo | grep packagename

VSS - Virtual Set Size 虚拟消耗内存

RSS - Resident Set Size 实际使用物理内存

脚本实现

脚本负责对命令行中测试后生成的meminfo文件进行分析，然后生成分析数据到csv文件，然后可以利用该csv文件进行图表绘制，内存数据获取时，建议测试时间长一点，方便分析使用过程中内存数据是否稳定，vss和rss分别分析。

# 控制类
class Controller(object):
    def __init__(self):
        # 定义收集数据的数组
        self.all_data = [("id", "vss", "rss")]

    # 分析数据
    def analyze_data(self):
        content = self.read_file()
        i = 0
        for line in content:
            if "org.chromium.webview_shell" in line:
                print line
                line = "#".join(line.split())
                # 角标7和8不是固定的，要看你生成的meminfo文件里vss和rss出现的位置来确定
                vss = line.split("#")[7].strip("K")
                rss = line.split("#")[8].strip("K")

                # 将获取到的数据存到数组中
                self.all_data.append((i, vss, rss))
                i = i + 1

    # 读取数据文件
    @staticmethod
    def read_file():
        mem_info = file("meminfo", "r")
        content = mem_info.readlines()
        mem_info.close()
        return content

    # 数据的存储
    def save_data_to_csv(self):
        csv_file = file('meminfo.csv', 'wb')
        writer = csv.writer(csv_file)
        writer.writerows(self.all_data)
        csv_file.close()


if __name__ == '__main__':
    controller = Controller()
    controller.analyze_data()
    controller.save_data_to_csv()

FPS&过度渲染

FPS

frames per second - 每秒的帧数

Android中每一帧的绘制时间大于16秒，则可能会产生卡顿的现象，可以借助设置-开发者选项-GPU呈现模式分析，选择在屏幕上呈现为条形图，屏幕中横着的绿线就是16ms的基准线，高于绿线的条形图就是发生卡顿的帧

过度渲染

描述的是屏幕上的某个像素在同一帧的时间内被绘制了多次

可以借助设置-开发者选项-调试GPU过度绘制-选择显示过度绘制区域，从最优到最差：蓝，绿，淡红，红。

posted @ 2021-04-01 10:15 hanfe1 阅读(149) 评论(0) 编辑收藏举报

刷新页面返回顶部

app 测试要点

APP性能测试

APP启动时间

冷启动

热启动

自动化脚本的实现

APP的CPU占用情况

获取数据

命令

脚本的代码实现

流量

命令

脚本实现

数据分析

电量

获取电量

脚本实现

内存

获取内存

脚本实现

FPS&过度渲染

FPS

过度渲染

公告