图像识别&自动操作

模块介绍#

pyautogui
pyautogui是一个用于自动化控制鼠标和键盘的 Python 库。

cv2
在Python中，cv2是OpenCV库的模块名。OpenCV（全称Open Source Computer Vision Library）是一个基于开源的计算机视觉库，它提供了大量的图像处理和计算机视觉算法，如图像滤波、边缘检测、图像分割、特征提取、目标检测等。这个库支持多种编程语言，包括Python、C++、Java等，其中在Python中的使用尤为广泛。

下载库#

下载pyautogui库

pip install pyautogui

下载OpenCV库

pip install opencv-python

示例-缩小pycharm#

首先下载模块，截图保存到当前目录

代码如下，复制粘贴即可运行

import pyautogui
import cv2

# 一、获取目标图片所在当前屏幕的坐标
# 给当前屏幕截图并保存
pyautogui.screenshot().save('screenshot-1.png')

# 加载刚刚的截图
img = cv2.imread("screenshot-1.png")

# 加载目标图片
mini_img = cv2.imread("minimize.png")

# 读取目标图片高度，宽度，通道数信息（对于彩色图像通常为 3 个通道，分别对应红（R）、绿（G）、蓝（B）三个颜色分量；对于灰度图像，通道数为 1。）
height, width, channel = mini_img.shape

# 进行模板匹配，返回匹配结果result
result = cv2.matchTemplate(img, mini_img, cv2.TM_SQDIFF_NORMED)

# print(cv2.minMaxLoc(result))  # (0.0, 1.0, (2355, 8), (2397, 1352))

# 解析出匹配区域的左上角坐标
upper_left = cv2.minMaxLoc(result)[2]

# 计算匹配区域右下角的坐标
lower_right = (upper_left[0] + width, upper_left[1] + height)

# 计算中心区域的坐标
avg = ((upper_left[0] + lower_right[0]) / 2, (upper_left[1] + lower_right[1]) / 2)

# 二、点击，即可完成操作
pyautogui.click(avg[0], avg[1], button="left")