sikuli--前端自动化操作的神器

前端自动话操作应用很广泛，从网购秒杀活动实现自动化抢购，到区块链货币高频交易前端脚本编写（非合作交易所不提供api的情况下）。

自动化的流派分为2类，一类是对DOM对象进行解析的，这个是主流，但是受特定平台的限制，而且一定目标前端代码变了，自动化脚本一般都要重写。

另一个就是近年来出现的“非主流”--sikuli。它是通过类似图像识别的原理进行自动化操作的，不受目标前端代码修改的影响。

之前在工行因为自动化测试的原因，研究过一下sikuli，记录在这里：

 

 

相比selenium，简直是神器：

1.不仅能够用在web上，而且能用在exe上，估计新终端也能够用（终于解决了这个最大的问题）

2.脚本编写的易学性、工具的易用性还不错

3.从目前情况看工具还是稳健的，安装也方便（我部的jdk普遍是1.6左右，正是推广的黄金时期）

 

下载安装：

http://www.sikuli.org/download.html  注意：目前其仅主持32位的1.6版本的jdk，下载的包很小20m，解压后就可以运行，目前最新版本是r930

 

运行时注意事项：

1.有个很好地“迷惑”或者提升执行通过率的方法，就是打开那个html页面，还有不能打开程序目录，因为哪里有各种要用的图标。。

2.有多个屏幕对程序运行的影响还待考察（案例编写必须严格在一个屏幕下进行，否则复杂度大大提高，我把notes扔到另外一个屏幕，结果脚本报错）  另外，截图要用他自带的工具比较方便

3.注意python语法， 没有类型if等不用括号用缩进（科技极简主义） java要编译，而python不用 python没有class和main函数    

4.最危险的是“起飞”阶段 如何打开一个应用？

    能想象一下，如下两个图标的不同，就让脚本无法运行（j见附图）

5.大规模脚本如何编写规范？首先，桌面主题就要统一，否则可能对截取造成问题

  以如下问题为例子，经我的windows换用windows经典主题后，我在工行主题上截取的图，就无法使用了，脚本无法运行

    因为界面现在看起来已经是这样了

  但是用win7透明主题，倒是可以运行脚本的

   （注意颜色深度的变化，所以sikuli有一定的变化兼容性，但是尽量不要有这方面的尝试）

 

6.桌面上存在小工具遮挡的时候也不行

 

 

总结：不能有遮挡 不能有多屏 不能有截图

 

sikuli的代码简单到什么程度呢？下面这个截图可以说明一切，这是个我写的邮箱自动登录的代码，几乎是人都可以看懂，这是sikuli最大优势：

 

 

 

那么问题来了？现在是图形的识别，如果做断言呢？现在这个工具还只是操作自动化的工具

图形断言：可以使用exists()来判断操作成功后的打勾是否存在

文字断言：需要使用OCR功能，

    首先，sikuli绝对有OCR功能，他的截图命名，就是用识别后的文字命名的

 

sikuli的好处：

1/代码的易读性（readableusable）

2/易读性带来的可传承性（用来培训和教学非常不错，传统的教程都说stepby step，而且配图，关键是这两者sikuli都有，而且还能够机器执行）

  以前的说明书，用命令行的，都是描述非常清楚，但是图形界面的就麻烦了；很多时候采用截取全图的方式，那样说明书的体积又太大了

3/电脑视觉的延伸， 看自己输出生成的画面，更加智能化

4/可扩展性 这个目前和watchman是一样的都说基于通用的脚本语言，可以使用脚本语言的函数库（python+java）