如何用Airtest实现在图片范围内随机点击
1. 前言
前几天有个新手同学在Airtest官群里问了这样一个问题：我是新手，在图片范围内随机点击 ，用Airtest怎么实现？代码？那我们就以这个问题为例，浅浅聊一下，怎么把需求转化成我们的Airtest代码。
2. 了解Airtest
首先新手同学对Airtest要有以下几点认知：- ① Airtest是一个图像识别框架，它能在屏幕上用图像识别来找到想操作的位置并点击，所以Airtest本质上点击的是目标图片的坐标，默认是中心点
- ② Airtest是python第三方库，除了Airtest本身的接口之外，我们随时可以import python的标准库或者其它第三方库，一起使用
3. 分析需求，转化成代码
1）查文档，找现成方法
有了以上2点认知后，我们再回到需求，“在图片范围内随机点击”，第一步我们要做的就是查询官方教程文档，看下有没有现成的方法可以使用：- ① 一般情况下，Airtest都是点击图片中心位置，不知道有没有点击图片内其它坐标的方法
- ② 随机点击，怎么实现在图片内随机点击这个行为，不知道Airtest有没有随机点的方法
target_pos，但是只能点击图片内的9个点：
这里似乎并不太符合在图片范围内随机点的需求。随后我们又查询了文档，发现Airtest也没有提供随机点击的方法。
2）分析需求，自己实现
那么我们到这里就需要进入到第二步，分析需求，看看需求都有哪些难点需要我们实现：- ① 在图片范围内点击，那意味着在整个图片的坐标范围内点击，那我们怎么拿到整个图片的坐标范围？
- ② 怎么点击一个随机的坐标？
random了，能帮助我们生成一个随机数的函数。
3）将思考转化成代码
最后一步就是将我们刚才分析需求，得到的思路，转化成代码：# -*- encoding=utf8 -*-
__author__ = "AirtestProject"
from airtest.core.api import *
import random
auto_setup(__file__)
# 定义函数，得到目标图片的坐标范围
def pos_range():
if exists(Template(r"tpl1697515204054.png", target_pos=1, record_pos=(-0.16, 0.154), resolution=(2960, 1440))):
up_pos = exists(Template(r"tpl1697515204054.png", target_pos=1, record_pos=(-0.16, 0.154), resolution=(2960, 1440))) # 利用target_pos=0，拿到目标图片左上角的坐标
down_pos = exists(Template(r"tpl1697515204054.png", target_pos=9, record_pos=(-0.16, 0.154), resolution=(2960, 1440))) # 利用target_pos=9，拿到目标图片右下角的坐标
x = (int(up_pos[0]),int(down_pos[0])) # 拿到图片x坐标的范围
y = (int(up_pos[1]),int(down_pos[1])) # 拿到图片y坐标的范围
return x,y
else:
print("目标图片不存在")
# 分别拿到图片x坐标与y坐标的范围值
pos_r = pos_range()
x = pos_r[0]
y = pos_r[1]
# 在x、y的坐标范围内生成随机数
x_range = random.randint(x[0],x[1])
y_range = random.randint(y[0],y[1])
# 点击图片范围内任意坐标
touch([x_range,y_range])4. 优化版
以上是简单的一个实现，效率不是最优。下面介绍一个更优的实现方案： Moty同学是通过在本地python环境安装Airtest库去进行Airtest自动化脚本编写的，同时该脚本在AirtestIDE上是可以完美适配运行的。 我们先来看看Moty同学代码的运行情况，可以看到通过生成随机坐标的形式，点击图片上的任意点，这里用计算器去具象化，可以看到每次随机坐标可以点击不同数字或者数字的不同位置，每次运行都可以获得随机的数字序列。# -*- encoding=utf8 -*-可以看出来，在编写代码的时候，Moty同学将每一个步骤进行函数封装后，可以减少二次查找的次数以及代码冗余，Moty同学的编写思路很值得我们学习~
__author__ = "Moty"
from airtest.core.api import *
from airtest.cli.parser import cli_setup
from airtest.core.error import *
from airtest.core.settings import Settings as ST
import random
"""
获取模板匹配的目标区域的矩形 这一部分实现参考 cv.py 中 loop_find 部分
: param : tpl 模板
: param : intervalfunc 没有合适匹配时的回调函数
: return 最佳匹配的矩形区域(x1,y1,x2,y2)
"""
def rectangle(tpl,intervalfunc=None):
G.LOGGING.info("Try finding: %s", tpl)
start_time = time.time()
while True:
screen = G.DEVICE.snapshot(filename=None, quality=ST.SNAPSHOT_QUALITY)
if screen is None:
# 如果截图为空，则可能是屏幕锁定了
G.LOGGING.warning("Screen is None, may be locked")
else:
match_result = tpl._cv_match(screen)
if match_result:
try_log_screen(screen)
# 这里 rect 得到的是 4个坐标点 取出左上右下角 得到(x1,y1,x2,y2) 元组
rect = match_result.get("rectangle")
if rect is not None:
return (round(rect[0][0]) , round(rect[0][1]) , round(rect[2][0]) , round(rect[2][1]))
if intervalfunc is not None:
intervalfunc()
# 超时则raise，未超时则进行下次循环:
if (time.time() - start_time) > ST.FIND_TIMEOUT:
try_log_screen(screen)
# 如果超时，则抛出异常
raise TargetNotFoundError('Picture %s not found in screen' % tpl)
else:
time.sleep(0.5)
"""
param : rect : 矩形区域 或模板
return : 区域内的随机坐标
"""
# 获取矩形区域内的随机坐标
def random_point(rect):
# 如果传入的是图片，则获取图片匹配的矩形区域
if isinstance(rect, Template):
x1, y1, x2, y2 = rectangle(rect)
else:
x1, y1, x2, y2 = rect
# 在矩形区域内随机生成一个坐标点
x = random.randint(x1, x2)
y = random.randint(y1, y2)
return x, y
"""
在 矩形范围内 随机点击
param : v : 目标区域 or 模板 or 坐标点（兼容touch）
param : times : 点击次数
return ：最终点击的点的坐标
"""
@logwrap
def random_touch_in_area(v, times=1, **kwargs):
if isinstance(v, Template) or (isinstance(v, tuple) and len(v) == 4):
pos = random_point(v)
else:
try_log_screen()
pos = v
# 在目标区域内随机点击
for _ in range(times):
G.DEVICE.touch(pos, **kwargs)
time.sleep(0.05)
delay_after_operation()
return pos
if __name__ == '__main__':
# 如果没有通过命令行连接设备，则使用该连接命令，若使用IDE运行则可忽略这段代码，不用写上
if not cli_setup():
auto_setup(__file__, logdir=None,
devices=["android:///",])
# 录制图片
tpl = Template(r"tpl1697636105500.png", record_pos=(0.243, -0.165), resolution=(1080, 2280))
# 获取模板匹配的目标区域的矩形
result = rectangle(tpl)
print(f"图片所在矩形区域 {result}")
# 在目标区域内随机点击
for i in range(10):
p = random_touch_in_area(tpl)
print(f"第 {i+1:02d} 次点击坐标 {p}")
sleep(1)
5.小结
最后，希望同学们在学习以及使用Airtest的时候，可以先学习方法，掌握代码编写技巧后，对自己的脚本可以进行优化再优化，从而实现代码收益最大化。
---------------------------------------------------------------------------------
关注微信公众号即可在手机上查阅，并可接收更多测试分享~
