https://www.jianshu.com/p/be3c46c7a905
uiautomation模块学习笔记
前段时间，由于个人需要，在网上查找了一些关于Windows平台下自动化测试的资料，最后找到了一款相当不错的Python模块：uiautomation，直接pip install uiautomation即可方便地获取这个模块。在学习这个模块的同时，记些笔记，方便自己以后查阅，也方便大家翻阅。
0x00 概述
这个库在Github上是开源的，地址：https://github.com/yinkaisheng/Python-UIAutomation-for-Windows
而且作者是一名中国人，还是南京人，让我感觉十分亲切。
这个库可以说是十分贴合实际，在Windows平台下，绝大部分软件都要遵循Windows的规范，也就是说窗口啊，句柄啊、控件啊这些东西，都是通用的，Windows向外提供了这些接口。先感谢一下yinkaisheng，他的工作就是进一步给这些接口做了整合，给Python的开发者提供了接口。这极大地方便了想要用Python开发自动化测试程序的人。
0x01 作者的readme文档
- 这个模块是基于Windows的UIA技术实现的，系统最低需要WindowsXP SP3，支持MFC、WinForm、WPF、Metro UI（从Windows8开始Windows系统开发的一种新的窗口）、Qt和火狐，也就是说基于.Net技术的所有Windows窗体程序都支持，而其他的软件，比如基于DirectUI开发的，这个模块可能难以获取到其中的信息。
- 作者将这个模块开源了，基于Apache2.0，这以为着源代码可以任意复制，修改，使用以及再发布，赞！
- 安装方法很简单，在已有Python和pypi环境的电脑上运行
pip install uiautomation即可安装，并且主程序automation.py也会自动复制到Python的Scripts文件夹下。 - 同时作者也提供了C++ dll的源码，但是在这里就不去涉及了。可以看出作者是名十分敬业的开发人员！
-
可以简单运行一下automation.py，直接运行的效果就是3秒后遍历当前活动窗口的所有控件。对QQ运行的效果：
可见效果十分明显，窗口内的控件信息全部都显示出来了，包括控件类型，控件的名称，控件的位置（以像素为单位），句柄，控件树深度等。同时，所有信息会保存到当前目录下的@AutomationLog.txt文件中，方便查阅。
- 作者提供了一个Demo，用于控制记事本程序：
import subprocess
import uiautomation as automation
print(automation.GetRootControl())
subprocess.Popen(\'notepad.exe\')
notepadWindow = automation.WindowControl(searchDepth = 1, ClassName = \'Notepad\')
print(notepadWindow.Name)
notepadWindow.SetTopmost(True)
edit = notepadWindow.EditControl()
edit.SetValue(\'Hello\')
edit.SendKeys(\'{Ctrl}{End}{Enter}World\')
GetRootControl()方法将返回根控件，也就是整个Windows可视化的桌面（这么理解没错吧）
WindowControl(searchDepth=1,ClassName=\'Notepad\')方法将创建一个WindowsControl对象，参数的作用是细化如何找到我们想要的控件，可用的参数有searchFromControl=None，searchDepth=0xFFFFFFF，searchWaitTime=SEARCH_INTERVAL，foundIndex=1，Name，SubName，ClassName，Depth等，可以去源码下的Control类的初始化方法init看一下这些参数怎么用。
-
接下来作者介绍了一个小工具Inspect.exe，这个工具是微软提供的，可以用来探测UI的内容，这个程序自动集成在微软的Windows SDK中，我电脑上正好安装了Visual Studio和Windows SDK，应该可以找到这个程序。果然在工具集中找到了这个程序：
可以看到使用效果非常好，窗口的构造一目了然！
-
最后作者放了一些自己使用该模块的截图，可以看到，功能十分强大：
0x02 简单了解实现原理
作者在readme文档中外链了一篇博文，简单介绍了实现原理，为了能更好地掌握这个库的使用，这篇原理我也简单的学习一下。（原文链接）
在最早的Windows开发中是没有自动化测试的概念的。1997年微软在操作系统中集成了MASS(Microsoft Active Accessibility)组件，但是微软开发MASS组件的初衷并不是为了自动化测试，而是提供了一套接口，让开发者们可以方便的开发残疾人士辅助软件，比如读屏软件等。伴随着自动化测试的应用越来越广泛，微软正视了自动化测试的需求，在MASS的基础上，对其重新封装设计并实现了UIAutomation的类库(.NET)。从Win7系统开始的后续Windows操作系统都整合了Windows Automation API的所有功能。作者在阅读了MSDN上的《UI Automation Client Programmer\'s Guide》和CodeMagazine上的《Creating UI Automation Client Applications》两篇文章后，用Python和C++对UIAutomation做了一层简单的封装，方便了想要用Python开发自动化测试应用而对.Net平台又不太熟悉的人，比如我。
0x03 API学习摘要
之前也已经提到，这个模块是作者对UIA用C++和Python简单的做了一层封装，只要能理解面向对象编程，学习难度也不是很大。正好，我在作者的CSDN博客里面找到了作者使用此模块的实例（原文链接），就以此为学习的入口，代码如下：
#!python3
# -*- coding: utf-8 -*-
"""
本脚本可以获取QQ2017(v8.9.4)群所有成员详细资料，请根据提示做对应的操作
作者：yinkaisheng@foxmail.com
"""
import time
import uiautomation as automation
def GetPersonDetail():
detailWindow = automation.WindowControl(searchDepth= 1, ClassName = \'TXGuiFoundation\', SubName = \'的资料\')
details = \'\'
for control, depth in automation.WalkControl(detailWindow):
if isinstance(control, automation.EditControl):
details += control.Name + control.CurrentValue() + \'\n\'
details += \'\n\' * 2
detailWindow.Click(-10, 10)
return details
def main():
automation.Logger.WriteLine(\'请把鼠标放在QQ群聊天窗口中的一个成员上面，3秒后获取\n\')
time.sleep(3)
listItem = automation.ControlFromCursor()
if listItem.ControlType != automation.ControlType.ListItemControl:
automation.Logger.WriteLine(\'没有放在群成员上面，程序退出！\')
return
consoleWindow = automation.GetConsoleWindow()
if consoleWindow:
consoleWindow.SetActive()
qqWindow = listItem.GetTopWindow()
list = listItem.GetParentControl()
allListItems = list.GetChildren()
for listItem in allListItems:
automation.Logger.WriteLine(listItem.Name)
answer = input(\'是否获取详细信息？按y和Enter继续\n\')
if answer.lower() == \'y\':
automation.Logger.WriteLine(\'\n3秒后开始获取QQ群成员详细资料，您可以一直按住F10键暂停脚本\')
time.sleep(3)
qqWindow.SetActive()
#确保群里第一个成员可见在最上面
left, top, right, bottom = list.BoundingRectangle
while allListItems[0].BoundingRectangle[1] < top:
automation.Win32API.MouseClick(right - 5, top + 20)
for listItem in allListItems:
if listItem.ControlType == automation.ControlType.ListItemControl:
if automation.Win32API.IsKeyPressed(automation.Keys.VK_F10):
if consoleWindow:
consoleWindow.SetActive()
input(\'\n您暂停了脚本，按Enter继续\n\')
qqWindow.SetActive()
listItem.RightClick()
menu = automation.MenuControl(searchDepth= 1, ClassName = \'TXGuiFoundation\')
menuItems = menu.GetChildren()
for menuItem in menuItems:
if menuItem.Name == \'查看资料\':
menuItem.Click()
break
automation.Logger.WriteLine(listItem.Name, automation.ConsoleColor.Green)
automation.Logger.WriteLine(GetPersonDetail())
listItem.Click()
automation.SendKeys(\'{Down}\')
if __name__ == \'__main__\':
main()
input(\'press Enter to exit\')
我用的环境是Pycharm2017.2社区版和Python3.6，这个模块的内容主要集中在uiautomation.py文件中，学习方法就是去这个文件里看相关的代码。先简单看一下这个代码，看看里面有哪些看不懂的，看不懂的地方就是要学习的地方。
首先是automation.WindowControl，这看起来是个对象，但是还不知道这个对象有哪些方法和属性，下面的WalkControl和EditControl应该也是对象，从命名上看可能直接代表了窗体中的不同控件。control.CurrentValue应该是属性，下面的detailWindow.Click()应该是模拟鼠标点击的方法。再看main()函数，Logger.WriteLine()方法应该是跟日志有关，ControlFromCursor()可能是从鼠标获取控件的方法......
这样看一遍大概就知道应该去源码里面找哪些定义了，我们利用PyCharm的跳转定义功能可以很容易地找到定义这些类和方法的代码，都在uiautomation.py这个文件中。源码就不贴了，通过跳转功能可以很容易地理解其中的方法与类之间的逻辑关系。这个文件中主要定义了“控件”这个类，就是两千多行处的Class Control(.............):这一大段代码，里面包含了所有对控件的方法和基本的属性。方法有获取控件名称啊，内容啊等，属性有位置啊，是否Active啊这些。然后由Control类派生出各个子类，代表具体的各种控件，比如WindowControl类表示窗口，EditControl类表示输入框，ButtonControl类代表按钮等等，几乎涵盖所有Win窗体程序的所有控件。并且作者在很多类下面做了详细的注释，阅读起来应该没有什么困难。理解的难点应该是这里面有大量关于WinForm开发的知识，需要一点基础。
那么当我们将这些方法与类的定义搞清楚之后，我们就能读懂这个实例的功能了。通过组合运用各个空间的属性和方法，实现从QQ群窗口中获得QQ群的信息。包括群号、群成员信息、聊天记录等信息，并保存到文本文件。
0x04 后记
- 果然多看，多写才是提升实力的根本途径，教材看一百遍不如自己摸索一遍！
- Life is short,use Python!
作者：8f7aac77586a
链接：https://www.jianshu.com/p/be3c46c7a905
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。