用LabVIEW实现《家国梦》游戏中自动收货收金币

前几周，很流行一个手机游戏，叫《家国梦》。我在手机上玩了一两天后，发现了两个问题：

1. 收货收金币太没意思，只需要手指滑在固定的路线，一会儿就烦了

2. 怎么追赶也追不上手快的人（当然也需要一定策略）

我刚玩这个游戏的时候，还能在好友里排名第一，但三四天后就落到了第三，真是比不过年轻人。。。

正好最近在研究LabVIEW里面关于Vision的东西，就在想能不能写个自动收货收金币的程序，能够晚上临睡前让程序跑起来，早上起床时候红包就可以收获很多。说干就干！

框架设计

整体思路就是用图像识别的算法识别小火车上面是什么货物，然后把货物运到对应的建筑物那里。

经过对截图的研究，发现游戏有如下特点：

1. 小火车每次停留最长约90s，而且每次最多运3种货物，每种货物数量一般都在5个以内

2. 小火车上面的货物会随机掉落一些奖励（后来我同事告诉我其实有策略的，但我也懒得去考虑了）

3. 点击建筑物可以收获金币，并且也会随机掉落奖励（红包、蓝星币、贡献值）

基于以上三点，就可以设计框架了。

1. 首先要有一个while loop一直在跑，这样才能不停地自动收货物收金币，在这里while loop设置成一次loop跑4s

2. 然后在while loop里面要有这几个模块：采集图像、识别目标、搬运货物（收金币）。

采集图像

这里我们用的是蓝叠模拟器跑《家国梦》这个游戏，因为不需要真机，而且它也支持ADB，所以会很方便。

一开始我想的是，把Android模拟器开在桌面上，然后用LabVIEW对整个桌面截图，再把游戏的那部分截图抠出来。这样我也尝试去实现了，但是效果不大好，因为抠出来的游戏图案部分，和Android模拟器的分辨率不一样，也就是说模拟器把显示的大小做了压缩。

所以我就干脆直接用ADB截图，截完图传到PC，然后再做分析。ADB截图指令参考了这个帖子：https://www.cnblogs.com/guoguojiang/p/10347211.html

1. 用ADB发送截图指令（adb shell screencap -p /sdcard/screen.png）

2. 用ADB指令把截图传到PC上（adb pull /sdcard/screen.png）

3. 用Vision里的API去打开本地的png文件，并准备传给后续的图像处理部分。整个代码是这样子的：

4. 删除刚刚传过来的图片

识别目标

在LabVIEW的vision工具包里，有专门用于pattern matching的API，那么我这里选用了我之前用过的模板匹配的相关API。关于这个API也不细讲，因为vision的工具包也自带了例子，很容易就可以用起来，最简单的使用流程就是先学习模板，然后再去识别目标图中有没有模板信息。

1. 首先要截出不同的模板，把所有的特征部分图案截取出来，另存为png文件。在这里要注意的是，有些特征可能会随机出现在三段车厢的任意一个车厢上，不同车厢模板的图案略有不同，需要多截图几张在不同车厢的图。

2. 整个算法流程是，先load所有的模板（因为load+learn模板很慢，所以要先load好），然后对采集的图像做几何模板匹配，如果找到了模板的团，就把它滑动到对应的建筑物那里。如果没有找到模板，那就收集建筑物那里的金币。

在这里有一些优化算法的小办法，例如设置ROI为小火车周围的一小片区域，这样索索范围会大大减小。通过这种匹配算法，就可以把货物的坐标找到，传给后面的搬运货物模块。在下图的代码里，输入有十几张模板图，以及我们的游戏截图；输出的是检测到的货物position以及货物的index，这是为了方便找到对应的建筑物坐标（建筑物坐标实现存储好，可以认为是和index一一对应的hash-map）。在这里认为score到了900分以上才是检测到了模板（匹配的score在0-1000之间，越高表示匹配度越高）。