python实现GUI自动化（控制鼠标）|屏幕快照&图像识别基础
1.GUI自动化
●GUI自动化就是写程序直接控制键盘和鼠标。这些程序可以控制其他应用，向它们发送虚拟的击键和鼠标点击，就像你自己坐在计算机前与应用交互-样。这种技术被称为“图形用户界面自动化”，或简称为“GUI自动化"。有了GUI自动化，你的程序就像-个活人用户坐在计算机前一样，能做任何事情,除了将咖啡泼在键盘上。
●也可以将GUI自动化看成是对一个机械臂编程。你可以对机械臂编程，让它敲键盘或移动鼠标。对于涉及许多无脑点击或填表的任务，这种技术特别有用。
pip install pyautogui1.1 鼠标移动操作
pyautogui坐标的处理
- pyautogui的鼠标函数使用X、y坐标。原点的x、y都是零，在屏幕的左上角。向右X坐标增加，向下y坐标增加。所有坐标都是正整数，没有负数坐标。
●分辨率
- 分辨率是屏幕的宽和高有多少像素。如果屏幕的分辨率设置为1920 x 1080， 那么左上角的坐标是(0, 0)，右下角的坐标是(1919, 1079) 。
●编程获取电脑屏幕的宽和高的像素数
- pyautoguisize0 函数返回两个整数的元组，包含屏幕的宽和高的像素数
import pyautogui
width, height=pyautogui.size( )
print(width, height)
1920 1080●移动鼠标
- pyautogui.moveTo0函数将鼠标立即移动到屏幕的指定位置。
- 表示x、y坐标的整数值分别构成了函数的第一个和第二个参数。
- 可选的duration整数或浮点数关键字参数，指定了将鼠标移到目的位置所需的秒数。如果不指定，默认值是零，表示立即移动(在 PyAutoGUI函数中，所有的duration 关键字参数都是可选的)。
import pyautogui
for i in range(5):
pyautogui.moveTo(100,100, duration=0.25)
pyautogui.moveTo(200,100, duration=0.25)
pyautogui.moveTo(200,200, duration=0.25)
pyautogui.moveTo(100,200,duration=0.25)
#在屏幕左上角画矩形●pyautogul.moveRel0 函数相对于当前的位置移动鼠标
- 该函数可以接受3个参数:向右水平移动多少个像素，向下垂直移动多少个像素，以及(可选的) 花多少时间完成移动。为第一第二个参数提供负整数，鼠标将向左或向上移动。
import pyautogui
for i in range(5):
pyautogui.moveRel(100，0，duration=0.25 )
pyautogui.moveRel(0，100， duration=0.25)
pyautogui.moveRe1(-100，0，duration=0.25)
pyautogui.moveRel(0，-100， duration=0.25)
●获取鼠标位置
- 通过调用pyautogui.position()函数，可以确定鼠标当前的位置。它将返回函数调用时，鼠标x、y坐标的元组。
pyautogui.position()1.2 鼠标点击操作
●鼠标点击
- 要向计算机发送虚拟的鼠标点击，就调用pyautogui.click0 方法。默认情况下，点击将使用鼠标左键，点击发生在鼠标当前所在位置。如果希望点击在鼠标当前位置以外的地方发生，可以传入X、y坐标作为可选的第- -第二参 数。
●指定鼠标按键
- 如果想指定鼠标按键，就加入button关键字参数，值分别为left'、 'middle'或 'right'。例如，pyautogui.click (100,150，button='left') 将在坐标(100, 150) 处点击鼠标左键。而pyautogui.click (200， 250， button='right') 将在坐标(200， 250)处点击右键。
实现点击的其他方法
■pyautogui. mouseDown(
- 只是按下鼠标按键
pyautogui.mouseUp0
- 只是释放鼠标按键
■pyautogui.doubleClick0
- 执行双击鼠标左键
■pyautogui.rightClick0， pyautogui.middleClick0
- 分别执行双击右键和双击中键
1.3 鼠标拖动操作
import pyautogui, time
time.sleep(2) #给个延迟
pyautogui.click()
distance = 200
while distance > 0:
pyautogui.dragRel (distance, 0，duration=0.2, button='left') # move right
distance = distance - 5
pyautogui.dragRel(0, distance, duration=0.2 , button='left') # move down
pyautogui.dragRel ( -distance, 0，duration=0.2,button='left') # move left
distance = distance - 5
pyautogui.dragRel(0, -distance, duration=0 .2, button='left') # move up
画矩形：
1.4 鼠标滚动操作
滚动鼠标
- 最后一个pyautogui鼠标函数是scroll)。 你向它提供一个整型参 数，说明向上或向下滚动多少单位，滚动发生在鼠标的当前位置。
- 单位的意义在每个操作系统和应用上不一样，所以你必须试验，看看在你的情况下滚动多远。
- 传递正整数表示向上滚动，传递负整数表示向下滚动
import pyautogui, time
time. sleep(2)
pyautogui.scroll(B00)
2.屏幕快照&图像识别基础
2.1 屏幕快照
你的GUI自动化程序没有必要盲目地点击和输入。pyautogui 拥有屏幕快照的功能，可以根据当前屏幕的内容创建图形文件。
●注意:
- 在Linux计算机上，需要安装scrot程序，才能在pyautogui中使用屏幕快照功能。在终端窗口中，执行sudo apt-get install scrot,安装该程序。如果你使用Windows或OS X,就跳过这一步获取屏幕快照【全局截图】
- 要在Python中获取屏幕快照，就调用pyautogui.screenshot0函数,函数将返回包含一个屏幕快照的Image对象
import pyautogui
im = pyautogui.screenshot()
im.save('./ 123.png' )
import pyautogui
im.getpixel((23,56))
#获取屏幕的RGB+透明度
import pyautogui
im = pyautogui . screenshot( )
print(im.getpixe1((500,200)))
result = pyautogui.pixelMatchesColor(500, 200, (248,248, 248) )
print(result)
2.2 图像识别基础
opencv:
