GUI自动化测试和做外挂的原理很相似,都是模拟用户的鼠标和键盘操作, 给自己的程序写自动化就是做测试,给别人的程序写自动化就是外挂了。
本文使用的技术也同样适用制作“对对碰”,"找茬" 之类游戏的外挂。
阅读目录
QQ连连看外挂实现原理
1. 先调用Win32 API获取"连连看"游戏窗口的句柄,
2. 根据游戏窗口的句柄,然后获取游戏方块中的像素。
3. 用一个二维数组来保存每个方块的像素
4. 用算法判定两个一样的方块能否"消", 如果能"消"的话,就模拟鼠标去点击这两个方块。 继续"消" 下一组方块。
GUI自动化测试的原理
当你点击窗体中的一个button, button会响应然后执行一些操作。 这个过程的本质是: 你在屏幕上点击一个Button, Windows系统根据你点击的位置,知道你要点击哪个Button,然后给这个Button发送鼠标点击的消息。
自动化的原理是: 找到控件的句柄,通过句柄给这个控件发送消息,比如“键盘输入”消息或者“鼠标点击”消息。
什么是句柄
所有的Windows控件本质上都是一个窗体(Window). 每个控件/窗体都有一个与之关联的句柄(handle), 可以通过这个句柄来访问,操纵和检测这个控件/窗体
窗体句柄是由系统产生的一个值,你可以把它想象成与窗体关联的一个ID,通过这个ID可以访问相应的窗体。
在.NET中, 句柄的类型是System.IntPtr, 有点类似Int型。
P/Invoke机制
P/invoke机制叫做"平台调用"机制, 因为Win32API 函数是Windows操作系统的一部分,所以它是用传统的C++程序写的,而不是用C#托管代码写的。 所以我们需要一种机制,让C#中可以调用Win32 API函数.
具体的解决方案是: 先为想要使用的Win32函数创建一个C#外覆函数,或者叫别名函数, 然后调用这个别名函数
实例:
在Win32 API中获取窗体的句柄的函数是 FindWindow(), 它的函数签名用C++描述是这样的
HWND FindWindow(LPCTSTR lpClassName, LPCTSTR lpWindowName);
在C#中,给这个Win32 函数创建别名函数
需要先引用命名空间: using System.Runtime.InteropServices;
[DllImport("user32.dll", EntryPoint = "FindWindow", CharSet = CharSet.Auto)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName);
DllImport: 指定要使用的函数所在的DLL文件。
EntryPoint: Win32 API函数的名称.
CharSet.Auto: 让.NET框架来决定如何进行字符类型转换
当为一个Win32函数编写相应的C#方法别名的时候, 几乎总要使用static 和extern, 因为大多数Win32函数都是静态函数,而非实例函数。
注意:别名函数和Win32函数的名称并不要求一致。 但是名称一致可以保证代码的可读性.
获取游戏窗体的句柄
我们用Win32 API 函数来获取“连连看"游戏窗体的句柄
我们现在调用上节介绍的C#中的别名函数FindWindow(),就相当于调用了Win32 API 的FindWindow()函数
FindWindow函数接收2个参数,className 或者WindowName 然后返回句柄.
Spy++是.NET中自带工具,我们可以使用它来获取窗体的名字。
具体用法是,启动spy++, 点击"Findow Window"图标,弹出Findow Window 程序后, 用鼠标拖动“靶心”到你要测试的窗体上。
如下图。 可以得到游戏窗体的名字叫"QQ游戏 - 连连看角色版"
这样我们就能轻松获取 游戏窗体的句柄
IntPtr wndPane = Win32API.FindWindow(null, "QQ游戏 - 连连看角色版");
分析游戏窗口
通过屏幕标尺工具, 我们去测量游戏窗口。 (这个比较繁琐,需要你多次去测量,多次调整后才能得到准确的数据).
可以发现 "游戏区域" 距离游戏窗口 水平方向:15像素, 垂直方向:182像素
游戏中垂直方向有11个方块, 水平方向有19个方块
每个方块 长:31像素, 宽:35像素 如下图
对游戏窗口中的所有方块进行截图
一个方块有31*35=1085个像素, 事实上我们不需要获取方块中所有的像素点。 为了节省性能,我只需要获取一个方块中的几个像素就可以了。
我们需要用到2个函数来实现获取方块的像素。
[DllImport("user32.dll")] public static extern IntPtr GetDC(IntPtr hwnd); [DllImport("Gdi32.dll")] public static extern uint GetPixel(IntPtr hdc, int nXPos, int nYPos);
GetDC函数的作用是指定窗口的客户区域或整个屏幕的显示设备上下文环境的句柄, 它的输入参数是窗口的句柄, (上节中我们介绍过可以使用FindWindow函数来获取窗口的句柄). 返回的是DC句柄。 (注意这两个句柄是不同的)
GetPixel根据GetDC获取的DC句柄和X坐标,Y坐标来获取像素点。
实例: 我们获取游戏中 "第三排第四列" 的方块的像素, 代码如下:
IntPtr wndPane = Win32API.FindWindow(null, "QQ游戏 - 连连看角色版"); IntPtr hdc = Win32API.GetDC(wndPane); // X轴方向的像素要这么算15+31*3 // 因为游戏区域距离游戏窗口左边15像素,每个方块宽31像素, // Y轴方向的像素要这么算 182+35*4 // 因为游戏区域距离游戏窗口上方182,每个方块高35像素 uint color = Win32API.GetPixel(hdc, 15+31*3 + offX, 182+35*4 + offY);
根据游戏规则来写算法
我们用一个二维数组来保存游戏中的所有方块
private Block[,] blocks = new Block[11, 19];
Block对象代表一个方块,如果方块为空,那么Block包含的是背景色。 如果有方块,那么Block对象中保存该方块的9个像素点。
详细请参考代码中的Block对象。
然后分析游戏规则来写算法来遍历二维数组。
垂直方向,如果两个一样的方块,处于同样的Y轴上,中间没有任何方块可以消, 如图
水平方向,如果两个一样的方块,处于同样的X轴上,中间没有任何方块, 可以消, 如图
拐1个弯, 如果两个一样的方块, 其中一个的X轴和另一个Y成90度,并且中间没有任何方块, 可以消, 如图
拐2个弯, 如图
根据上面这些游戏规则,来设计算法, 具体算法请参考源代码
模拟鼠标点击
[DllImport("user32.dll")] public static extern int mouse_event(int dwFlags, int dx, int dy, int cButtons, int dwExtraInfo); const int MOUSEEVENTF_MOVE = 0x0001; //移动鼠标 public const int MOUSEEVENTF_LEFTDOWN = 0x0002; //模拟鼠标左键按下 public const int MOUSEEVENTF_LEFTUP = 0x0004; //模拟鼠标左键抬起 const int MOUSEEVENTF_RIGHTDOWN = 0x0008; //模拟鼠标右键按下 const int MOUSEEVENTF_RIGHTUP = 0x0010; //模拟鼠标右键抬起 const int MOUSEEVENTF_MIDDLEDOWN = 0x0020; //模拟鼠标中键按下 const int MOUSEEVENTF_MIDDLEUP = 0x0040; //模拟鼠标中键抬起 const int MOUSEEVENTF_ABSOLUTE = 0x8000; //标示是否采用绝对坐标