Java + SikuliX 基于图像实现自动化测试

转载请注明出处❤️

你好，我是测试蔡坨坨。

由于目前大多数GUI工具均需要依赖于程序类型进行特征属性识别，例如：Selenium、Appium、UIAutomator。在进行WebUI自动化测试的时候，有些元素使用传统的Selenium方法（传统方法：使用id等属性定位）很难或无法定位到，比如：object元素；基于Flash、JavaScript或Ajax等技术实现的文件上传功能。

对于非input框的文件上传问题，Python可以使用win32gui库，而Java可以使用AutoIt，但是AutoIt只有Windows版本，又要考虑兼容Windows和macOS。

对于这种情况，推荐一个好玩的东西SikuliX。

本篇就来聊聊SikuliX这个工具，什么是SikuliX，如何使用，以及文件上传功能demo实现。

SikuliX简介

SikuliX是基于PC图像识别的自动化测试工具，由MIT（麻省理工学院）研究团队发布。

与其他UI自动化工具相比，SikuliX的优势在于，它是基于像素实现的元素定位，所以即使页面上的元素没有像id、name这些属性，也可以通过图像识别进行UI的交互操作，无需关注元素有哪些属性，所见即所得；适合非标准控件等自定义界面的定位；支持跨平台，如：Windows、macOS、Linux。

但是，它也有一定的局限性，由于是基于图像识别，因此图片的大小、分辨率、色彩都会对识别造成影响，定位不能百分百准确识别到元素，如果有两个相同或相似的图片，无法区分具体哪一个，需要手动调整精确度，工作量大；只能定位当前正在操作的窗口界面；若流程过长，则会造成脚本过于臃肿；目前还不适合设计成一种测试框架。

尽管SikuliX用来实现复杂的测试场景不太现实，这也是所有GUI自动化测试无法改变的现实，但是用来做一些特定场景的测试还是游刃有余。对于Web自动化主要用该端的自动化框架，如Selenium，SikuliX作为辅助，可以和Selenium结合使用。

使用

导入依赖

方法一（推荐）：使用Maven构建工具，导入pom依赖

<!-- https://mvnrepository.com/artifact/com.sikulix/sikulixapi -->
<dependency>
    <groupId>com.sikulix</groupId>
    <artifactId>sikulixapi</artifactId>
    <version>1.1.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.sikulix/sikulixlibswin -->
<!-- 这里是Windows版本，其他系统版本选择参考 https://mvnrepository.com/artifact/com.sikulix -->
<dependency>
    <groupId>com.sikulix</groupId>
    <artifactId>sikulixlibswin</artifactId>
    <version>1.1.1</version>
</dependency>

方法二：手动下载jar包加入到引用库

https://raiman.github.io/SikuliX1/downloads.html

核心类

SikuliX提供两大核心类，Region（界面部分区域识别）和Screen（全屏识别）。

实例化Region：

Region r = new Region(100, 100, 100, 100);

说明：
class Region
Region(x, y, w, h)
Region(region)
Region(Rectangle)
Create a region object

Parameters:	
x – x position of a rectangle.
y – y position of a rectangle.
w – height of a rectangle.
h – width of a rectangle.
region – an existing region object.
rectangle – an existing object of Java class Rectangle
Returns:	
a new region object.

实例化Screen：

Screen s = new Screen();

常用API

等待元素出现：wait()

s.wait(inputImg, 10);

判断元素是否在屏幕上显示：exists()

s.exists(inputImg);

在文本输入框输入指定文本内容：type()

s.type(inputImg, "caituotuo");

单击元素：click()

s.click(btnImg);

右键单击元素：rightClick()

s.rightClick(btnImg);

双击元素：doubleClick()

s.doubleClick(btnImg);

旋转指定图像：wheel()

s.wheel(btnImg,25,0);

拖放图片：dragDrop()

s.dragDrop(img,img2);

鼠标悬停：hover()

s.hover(btnImg);

粘贴复制的字符串：paste()

由于type()不支持输入中文，所以可以用paste()来在指定的文本框中粘贴文本

s.paste(inputImg,"蔡坨坨");

按下键盘键：type()

s.type(Key.ENTER);

s.type("c",Key.CTRL); // 快捷键

SikuliX实现百度搜索

public static void baiduSearch() throws InterruptedException, FindFailed {
        String imgPath = PathUtils.getProjectPath() + "src\\test\\resources\\images\\";
        // Pattern baiduInput = new Pattern(imgPath + "baiduInput.png");
        String baiduInput = imgPath + "baiduInput.png";
        // Pattern baiduBtn = new Pattern(imgPath + "baiduBtn.png");
        String baiduBtn = imgPath + "baiduBtn.png";
    	// 打开浏览器
        WebDriver driver = new ChromeDriver();
    	// 窗口最大化
        driver.manage().window().maximize();
    	// 访问百度网站
        driver.get("https://www.baidu.com");
    	// 等待1s
        Thread.sleep(1000);
    	// 实例化Screen类
        Screen s = new Screen();
    	// 等待搜索框出现
        s.wait(baiduInput, 10);
		// s.type(baiduInput, "sikuli");
    	// 粘贴文本
        s.paste(baiduInput, "测试蔡坨坨");
    	// 按下回车键
        s.keyDown(Key.ENTER);
   	 	// 判断百度一下按钮是否存在
        s.wait(baiduBtn, 10);
    	// 点击百度一下
        s.click(baiduBtn);
    	// 等待3s
        Thread.sleep(3000);
    	// 关闭浏览器
        driver.quit();
    }

SikuliX实现文件上传

public static void uploadFileBySikuli() throws InterruptedException, FindFailed {
        String imgPath = PathUtils.getProjectPath() + "src\\test\\resources\\images\\";
        String img = PathUtils.getProjectPath() + "src\\test\\resources\\images\\avatar.png";
        Screen s = new Screen();
        Pattern fileInputTextBox = new Pattern(imgPath + "fileInputTextBox.png");
        Pattern openButton = new Pattern(imgPath + "openButton.png");
        // 启动浏览器并打开链接
        WebDriver driver = new ChromeDriver();
        driver.get("http://www.sahitest.com/demo/php/fileUpload.htm");
        // 窗口最大化
        driver.manage().window().maximize();
        Thread.sleep(2000);
        // 点击上传按钮
        WebElement ele = driver.findElement(By.id("file"));
        new Actions(driver).click(ele).perform();
        // 等待文件上传弹窗出现，sikuli开始操作
        s.wait(fileInputTextBox, 20);
        // 输入文件路径
        s.type(fileInputTextBox, img);
        // 点击回车
        s.keyDown(Key.ENTER);
        // 点击打开按钮
        s.click(openButton);
        Thread.sleep(3000);
        driver.quit();
    }

秒客网