App性能测试之iTest
本文主要介绍下App性能测试工具iTest_V4.7的使用。
功能简介
1、监控Andorid系统（支持手机，平板，电视，车机等智能终端设备）以及应用app的cpu、内存、流量、电池、帧率、页面耗时等数据；
2、悬浮框实时显示被测应用或者整机的状态指标；
3、数据走势图展示统计结果；
4、数据自动保存至文本，可快速导入Excel；
5、支持多进程应用的性能监控，例如灵犀语音助手；支持单进程性能监控；支持自定义进程性能监控
6、支持性能监控告警；
7、支持手工测试和自动化测试，自动化测试时，可发送adb shell命令遥控iTest。
8、获取android底层的linux进程占用的cpu和内存。
9、支持查看设备基本信息、设备的动态信息
10、支持cpu模拟、内存模拟、弱网模拟等极限环境模拟
11、支持logcat日志本地获取
12、支持应用安装包离线分析
13、支持monkey
基本功能使用说明
1、手工测试方式
1) 授权
自android6.0以后，谷歌对权限做了一些管控，应用在需要用户授权的情况下，功能才能正常的运行；因此为了确保iTest能够正常的运行，请按照iTest提示对iTest进行授权：
图1 存储、电话权限
图2 悬浮窗权限
图3 Assist服务启动
图4 辅助功能权限
图5 开启GPU
2）用户注册登录功能
打开iTest应用后，页面跳转至登陆页面，请填写用户名密码进行登录。账号可以直接登录iTest服务端。
图6 登录页面
如果没有登录账号，请点击注册按钮来进行用户注册，其中用户名、密码、邮箱是必选的，qq和微信可二者选一进行填写，注册完成后请登录邮箱激活账号。
图7 注册页面
3)选择被监控的应用
进入首页，先点击“添加”按钮，从跳入的监控应用界面中找到并点击被测应用，或在搜索框中输入应用的名称，或者只输入应用名称中的个别文字，即可筛选。
图8 首页
图9 监控应用页面
4)选择监控指标
在首页中，指标默认已选择cpu、内存、网络三项，点击分享解锁后，可解锁更多指标以及小工具，请根据自己的场景测试需要，选择需要监控的指标
图10 分享前指标
图11 分享后指标
Cpu: 如果被测对象为整机，则数据表示为整机的cpu占用百分比；如果被测对象为应用，包含应用的CPU占用百分比与全局CPU占用百分比，对于单进程应用，该数据表示该应用的CPU占用情况；对于多进程应用，根据您设置的进程筛选规则，如果为根据包名筛选进程，该数据表示应用主进程的CPU占用情况，如果为根据uid筛选进程，该数据表示应用所有的进程cpu占用情况，如果为根据配置文件筛选进程，该数据表示配置的进程cpu占用情况，当发生进程切换时，iTest能够自动切换到新的进程数据。
内存：如果被测对象为整机，则数据表示为整机的内存占用情况和内存剩余情况；如果被测对象为应用，包含应用的内存占用与全局内存剩余情况，对于单进程应用，该数据表示该应用的内存占用情况；对于多进程应用，根据您设置的进程筛选规则，如果为根据包名筛选进程，该数据表示应用主进程的内存占用情况，如果为根据uid筛选进程，该数据表示应用所有的进程内存占用情况，如果为根据配置文件筛选进程，该数据表示配置的进程内存占用情况，当发生进程切换时，同cpu一样，iTest能够自动切换到新的进程数据。应用内存指标包括两部分，进程的PSS(Proportional Set Size，即实际使用内存)内存、Private Dirty(私有内存)内存。
网络：包含应用上下行速率与累计流量以及全局上下行速率与累计流量。属于应用维度数据，根据监控对象决定。点击右侧清零按钮可以清空累计数据。
电池：包含设备瞬时电流、电流均值以及电池的温度。属于全局维度数据。点击右侧清零按钮可以清空电流累计数据。
Cpu温度：该数据表示cpu的温度，属于全局维度数据，部分设备是以电池温度为准。
帧率：包含应用实际帧率，延迟帧数、1秒内单帧最长延迟时间与延迟帧数占所有帧数的百分比。属于应用维度数据，即根据当前窗口所在activity获取。目前iTest是根据设备gfxinfo信息计算1秒内超时帧时间，从而反推出实际帧率，所以在接近静止的情况下， 部分帧率可能显示有误。推荐在滑动或页面切换等动态场景下进行帧率测试。
响应耗时：包含应用点击的响应耗时与刷新耗时数据。属于应用维度数据,基于当前页面所在activity。用户点击控件（记录时间a）界面发生变化（记录时间b）页面停止变化（记录时间c），其中b-a为响应耗时，c-a为刷新耗时。
5) 进程筛选设置
进程筛选，在性能监控中，你或许只关注应用的主进程性能，或许你关注应用的所有进程性能，也或许你只关注应用所有进程中的几个进程的性能，那么如何才能做到这些场景下的性能监控呢？因此我们提供了以下几种进程筛选方式。
根据包名筛选
通过包名获取到被监控应用的主进程，此时监控到的性能数据为应用主进程的性能数据
根据uid筛选
通过包名获取到主进程后得到了主进程的uid，通过uid筛选出应用的子进程信息，通过此种方式，可以监控到应用的所有进程性能数据
根据配置文件筛选
配置文件ThreadFilter.txt内容格式如图所示，FilterHead代表某App监控的开始部分，其中的内容每行代表一个进程，FilterTail代表该App监控的设置结束部分，当然对于多App和单app多进程监控需求同样适用。配置好ThreadFilter.txt文件后，需要将该文件放置到手机/sdcard/AndroidPropertyTool4/目录下即可，详细见ThreadFilter详解
6)场景设置
在启动性能监控前，在图7中标记处输入场景标记。
图12 场景标记
7)其他设置
点击首页左上角的菜单图标，可进入菜单，见图8。点击“设置”即可选择您要设置的参数。见图9。
图13 菜单图
14 设置界面
在图14中参数简介：
监控间隔：默认每隔1000毫秒记录一组数据；
显示悬浮框：悬浮框位于屏幕左上方，实时显示记录的数据，6.0以后系统需要将悬浮窗权限打开，进入iTest后，根据应用提示即可；
横屏显示：默认关闭，竖屏显示，
设置告警规则：触发告警条件，执行告警策略。
设置监控进程规则：默认根据uid进行筛选
8)启动监控/停止监控
点击“启动监控”按钮，测试开始，按钮自动变成“停止监控”；
点击“停止监控”按钮，测试停止，按钮自动变成“开始监控”。
9)查看数据走势图
在主页上，点击左上角的菜单按钮，或向右滑动屏幕进入菜单或者直接点击主页“趋势图”按钮，进入数据管理页面；
点击列表中的
，查看数据趋势图;
点击数据走势图页面上方的下拉框选项
，可以查看相应的数据走势图；
图15 CPU图
图16 内存图
10)数据管理
数据存在android的外置存储空间中（一般是指/sdcard目录）
例如：
/sdcard/AndroidPropertyTool4/handTest/cup_com_baidu_BaiduMap.txt //被测应用的cpu
/sdcard/AndroidPropertyTool/handTest/cpuSystem.txt //系统cpu
/sdcard/AndroidPropertyTool/ handTest/pss_com_baidu_BaiduMap.txt //被测应用的private dirty内存
/sdcard/AndroidPropertyTool/ handTest/privateDirty_com_baidu_BaiduMap.txt /被测应用的pss
/sdcard/AndroidPropertyTool/handTest/pssSystemLeft.txt //系统剩余pss
/sdcard/AndroidPropertyTool/handTest/upflow_com_baidu_BaiduMap.txt //上行速率
/sdcard/AndroidPropertyTool/handTest/downflow_com_baidu_BaiduMap.txt //下行速率
/sdcard/AndroidPropertyTool/handTest/upflowSum_com_baidu_BaiduMap.txt //上线累计
/sdcard/AndroidPropertyTool/handTest/downflowSum_com_baidu_BaiduMap.txt //下行累计
/sdcard/AndroidPropertyTool/handTest/batteryAvg.txt //平均电流
/sdcard/AndroidPropertyTool/handTest/batteryTemperature.txt //电池温度
/sdcard/AndroidPropertyTool/handTest/batteryInstant.txt //瞬时电流
/sdcard/AndroidPropertyTool/handTest/fps.txt
/sdcard/AndroidPropertyTool/handTest/fpsJunkCount.txt
/sdcard/AndroidPropertyTool/handTest/fpsMaxJunk.txt
/sdcard/AndroidPropertyTool/handTest/fpsJunkPercent.txt
/sdcard/AndroidPropertyTool/handTest/cpuTemperature.txt
/sdcard/AndroidPropertyTool/handTest/response.txt
/sdcard/AndroidPropertyTool/handTest/refresh.txt
/sdcard/AndroidPropertyTool/ handTest /uplaodSetting.json//上传功能的标记文件，可忽略
/sdcard/AndroidPropertyTool/handTest/upload.tmp //上传标记文件，可忽略
其中com_baidu_BaiduMap(百度地图)为被测试应用的包名。
备注：
系统会将旧数据文件保存在带时间戳的目录中，例如：
/sdcard/AndroidPropertyTool4 /handTest_2020-01-01-12-12-12-357
在“数据管理”界面，可上传、查看、删除所有数据：
图17 数据管理界面
2、自动测试方式
本工具支持以adb shell命令的形式启动和运行。需要注意的是，office系列软件可能会更改命令中的字符，导致命令不可用！请手工输入命令，或从附带的command文本中复制；另外iTest启动后默认在未登陆的情况下进入登陆页面，因此确保已经登陆，并且将相关权限打开，具体见2.1.1授权介绍
1)启动首页
adb shell am start -a android.intent.action.MAIN -c android.intent.category.LAUNCHER –n iflytek.testTech.propertytool/.activity.BootActivity
2)开启监控
依次执行如下两条命令，注意替换红字部分：
adb shell am broadcast -a changedir --es savedir handTest(默认即是handTest目录，如不做修改，可忽略执行)
adb shell am broadcast -a monitorStart --es monitor cpu,pss,net,battery,cpuTemp,fps,response --es pkg com.example.test --ei interval 1000
monitor：监控的指标，多指标情况下使用英文逗号分隔（cpu, pss，net，battery，cpuTemp，fps，response）
pkg：包名， 可用英文的逗号分隔多个包名。
interval：间隔（毫秒）
3)结束监控
adb shell am broadcast -a monitorFinish
4)打开或者关闭悬浮窗，在开启监控前执行
adb shell am broadcast -a enableFloatWindow // 开启
adb shell am broadcast -a disableFloatWindow // 关闭
5)其他命令见command
其它功能
1、设备基本信息
从菜单中，点击“设备基本信息”，即可进入设备基本信息页面。点击导出按钮，设备基本信息可导出为txt文本。
图18 展开的菜单图
19 设备基本信息页面
2、设备动态信息
从菜单中，点击“设备动态信息”，即可进入设备动态信息页面。点击导出按钮，设备动态信息可导出为txt文本。
注意，由于数据是动态获取并显示的，在部分数据的获取上比较耗时，请等待若干秒。
图20 设备动态信息页面
3、意见反馈
如果发现工具的bug，或有任何改进意见，请从菜单中点击“意见反馈”，进入意见反馈页面来告知我们。也可以根据“关于”页面中提供的联系方式联系我们。谢谢！
图21 意见反馈页面
图22 关于页面
4、工具箱
工具箱中包含了一些小工具，通过在首页完成分享后即可解锁更多的小工具
图23 工具箱
5、发现
6、版本新增了发现功能，在这里你可以学习别人的玩法，也可以将自己的玩法发布供别人学习。
图24 发现图
图25 添加发现
iTest数据上传功能
iTest服务端地址http://itest.iflytek.com/，iTest客户端默认是在连接有效的wifi且已经登录的情况下在性能监控结束的时候自动上传至服务端，如果没有登录，将会跳转至登录页面，完成登录后，在数据管理页面手动上传测试数据
iTest使用注意事项
1、常见问题
电池电流,因MTK平台不区分充放电，都为负数;高通平台小于0处于放电状态，大于0为充电状态
如果遇到监控cpu与top命令获取的不一样或者监控内存与dumpsys meminfo命令获取的不一样，在小范围内的误差是正常的不影响性能结果，若误差较大的情况下，请使用其他监控工具做对比
由于流量监控功能不完善，导致耗电量统计时，无法统计UDP流量对应的耗电量。
长时间运行后， iTest可能会被系统杀死。解决方案：将iTest.apk放置在/system/app目录下，并赋root权限。
iTest受系统休眠影响，可能会暂停记录数据，请测试之前正确设置手机参数
2、FAQ
