AI打游戏-伍（游戏，启动！）

目标

  • 使用代码调用yolo模型，并解析预测结果
  • 读取游戏视频预测结果，并可视化
  • 读取游戏窗口预测结果，并可视化
  • 根据预测结果，模拟操作鼠标操作

步骤

官方文档

代码预测静态图片

  • 读取游戏截图，送入yolo网络预测
  • 解析预测结果
import cv2
from ultralytics import YOLO

model = YOLO('runs/detect/train/weights/best.pt')
image = cv2.imread('E:\\ai-play-game\\project-1-at-2023-09-13-17-05-6275bec0\\images\\0d332b6a-8100.jpg')
# 预测结果（返回列表，因为同时输入一组图片）
result = model(image)[0]

print(f"result.names: {result.names}")
print(f"result.boxes: {result.boxes}")
# 观察打印结果，可以找到不同的输出类型：xywh,xywhn,xyxy,xyxyn

# 如果使用GPU训练，则tensor在GPU中，先使用.cpu()转到内存中才能使用
# 由于opencv框选标记使用xyxy，刚好可以使用result.boxes.data
# 内容格式：[[x1,y1,x2,y2,置信值,类别]]
print(f"坐标信息：{result.boxes.data.cpu().numpy().tolist()}")

可视化预测结果

  • 打印坐标不够直观，使用opencv显示出结果
  • 读取视频代码
import cv2

def main():
    image = cv2.imread('E:\\ai-play-game\\project-1-at-2023-09-13-17-05-6275bec0\\images\\0d332b6a-8100.jpg')
    # 显示图片
    cv2.imshow("image", image)
    # 显示5秒或按"Esc"键退出
    if cv2.waitKey(5000) & 0xFF == 27:
        cv2.destroyAllWindows()


if __name__ == "__main__":
    main()
  • 加上yolo后
import cv2
from ultralytics import YOLO

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 1)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 0.5, cls_rgb, 1)
    return image


def main():
    image = cv2.imread('E:\\ai-play-game\\project-1-at-2023-09-13-17-05-6275bec0\\images\\0d332b6a-8100.jpg')
    image = ai_boxes(image)
    # 显示图片
    cv2.imshow("image", image)
    # 显示5秒或按"Esc"键退出
    if cv2.waitKey(5000) & 0xFF == 27:
        cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

可视化解析视频

  • 将来源替换成视频
  • 读取视频代码
import cv2

def main():
    cap = cv2.VideoCapture("E:\\ai-play-game\\2023-09-12 23-27-51.mp4")
    while cap.isOpened():
        ret, frame = cap.read()
        if ret:
            cv2.imshow("video", frame)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()
  • 加上YOLO后
import cv2
from ultralytics import YOLO

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 2)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 1, cls_rgb, 2)
    return image


def main():
    cap = cv2.VideoCapture("E:\\ai-play-game\\2023-09-12 23-27-51.mp4")
    while cap.isOpened():
        ret, frame = cap.read()
        if ret:
            frame = ai_boxes(frame)
            cv2.imshow("video", frame)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

读取游戏窗口

  • pip安装依赖
pip install pywin32
  • 读取窗口代码
import cv2
from ultralytics import YOLO
import win32gui
import numpy as np
from PIL import ImageGrab

def main():
    # 读取游戏窗口，需要先打开游戏
    win_id = win32gui.FindWindow(None, 'Tap Ninja')
    while True:
        # 获取窗口位置信息
        win_bbox = win32gui.GetWindowRect(win_id)
        # 读取窗口位置像素信息
        game_window = np.array(ImageGrab.grab(bbox=win_bbox))
        # 两个库色彩模式不同，转换色彩模式
        image = cv2.cvtColor(game_window, cv2.COLOR_BGR2RGB)

        cv2.imshow("video", image)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()
  • 加上YOLO后
import cv2
from ultralytics import YOLO
import win32gui
import numpy as np
from PIL import ImageGrab

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 2)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 1, cls_rgb, 2)
    return image


def main():
    # 读取游戏窗口，需要先打开游戏
    win_id = win32gui.FindWindow(None, 'Tap Ninja')
    while True:
        # 获取窗口位置信息
        win_bbox = win32gui.GetWindowRect(win_id)
        # 读取窗口位置像素信息
        game_window = np.array(ImageGrab.grab(bbox=win_bbox))
        # 两个库色彩模式不同，转换色彩模式
        image = cv2.cvtColor(game_window, cv2.COLOR_BGR2RGB)

        image = ai_boxes(image)
        cv2.imshow("video", image)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

模拟鼠标操作

  • pip安装依赖
pip install pyautogui
  • 由于游戏使用DirectX渲染，pyautogui需要管理员权限才能在游戏中模拟鼠标操作
  • 重新一定要重新使用"管理员"打开IDE ！！！
import cv2
from ultralytics import YOLO
import win32gui
import numpy as np
from PIL import ImageGrab
import pyautogui

# 加载模型
model = YOLO('runs/detect/train/weights/best.pt')
# 类别对应的名字，及rgb颜色
clazz_dict = {
    0: ('hellhound', (255, 0, 0)),
    1: ('samurais', (0, 255, 0)),
    2: ('player', (0, 0, 255)),
    3: ('fireflies', (255, 255, 0)),
}


def controller(boxes):
    """
    控制模拟玩家操作
    :param boxes: YOLO预测结果
    """
    player_fire_x = None
    other_x1_list = []
    for x1, y1, x2, y2, conf, cls in boxes:
        if int(cls) == 2:
            # 操作位置：玩家前方一个身位的位置
            player_fire_x = x2 + (x2 - x1)
        else:
            other_x1_list.append(x1)
    if player_fire_x is not None and len(other_x1_list) > 0:
        for x1 in other_x1_list:
            if x1 < player_fire_x:
                # 点击鼠标左键
                pyautogui.click(button='left')
                print("**************************** 点击 ****************************")


def ai_boxes(image):
    """
    增加ai识别的框
    :param image: 图片像素张量
    :return: 增加显示后的张量
    """
    result = model(image)[0]
    boxes = result.boxes.data.cpu().numpy().tolist()
    for x1, y1, x2, y2, conf, cls in boxes:
        x1, y1, x2, y2, cls = int(x1), int(y1), int(x2), int(y2), int(cls)
        cls_name, cls_rgb = clazz_dict[cls]
        # 增加框
        cv2.rectangle(image, (x1, y1), (x2, y2), cls_rgb, 2)
        # 增加文字
        cv2.putText(image, cls_name, (x1, y1), cv2.FONT_HERSHEY_COMPLEX, 1, cls_rgb, 2)
    # 判断位置并控制
    controller(boxes)
    return image


def main():
    # 读取游戏窗口，需要先打开游戏
    win_id = win32gui.FindWindow(None, 'Tap Ninja')
    while True:
        # 获取窗口位置信息
        win_bbox = win32gui.GetWindowRect(win_id)
        # 读取窗口位置像素信息
        game_window = np.array(ImageGrab.grab(bbox=win_bbox))
        # 两个库色彩模式不同，转换色彩模式
        image = cv2.cvtColor(game_window, cv2.COLOR_BGR2RGB)

        image = ai_boxes(image)
        cv2.imshow("video", image)
        # 按"Esc"键退出
        if cv2.waitKey(1) & 0xFF == 27:
            break
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

小结

  • 看出识别结果不够准确
  • 提升准确率
    • 调整训练参数
    • 增加训练集样本数量
    • 区分训练集和验证集

总结

  • AI算法不仅是模型训练，还包含了很多上下游工作
  • 通常是以下几个步骤
    • 发现一个问题或者需求，分析解决方案
    • 收集数据
    • 标注数据
    • 模型训练
    • 部署使用
    • 效果监控，收集数据，迭代算法
posted @ 2023-09-17 10:48  言午日尧耳总  阅读(76)  评论(0)  编辑  收藏  举报