Python下编写Windows自动化测试软件

时间:2024-02-19 14:42:16

https://www.jianshu.com/p/be3c46c7a905

uiautomation模块学习笔记


前段时间,由于个人需要,在网上查找了一些关于Windows平台下自动化测试的资料,最后找到了一款相当不错的Python模块:uiautomation,直接pip install uiautomation即可方便地获取这个模块。在学习这个模块的同时,记些笔记,方便自己以后查阅,也方便大家翻阅。

0x00 概述

这个库在Github上是开源的,地址:https://github.com/yinkaisheng/Python-UIAutomation-for-Windows
而且作者是一名中国人,还是南京人,让我感觉十分亲切。
这个库可以说是十分贴合实际,在Windows平台下,绝大部分软件都要遵循Windows的规范,也就是说窗口啊,句柄啊、控件啊这些东西,都是通用的,Windows向外提供了这些接口。先感谢一下yinkaisheng,他的工作就是进一步给这些接口做了整合,给Python的开发者提供了接口。这极大地方便了想要用Python开发自动化测试程序的人。

0x01 作者的readme文档

  • 这个模块是基于Windows的UIA技术实现的,系统最低需要WindowsXP SP3,支持MFC、WinForm、WPF、Metro UI(从Windows8开始Windows系统开发的一种新的窗口)、Qt和火狐,也就是说基于.Net技术的所有Windows窗体程序都支持,而其他的软件,比如基于DirectUI开发的,这个模块可能难以获取到其中的信息。
  • 作者将这个模块开源了,基于Apache2.0,这以为着源代码可以任意复制,修改,使用以及再发布,赞!
  • 安装方法很简单,在已有Python和pypi环境的电脑上运行pip install uiautomation即可安装,并且主程序automation.py也会自动复制到Python的Scripts文件夹下。
  • 同时作者也提供了C++ dll的源码,但是在这里就不去涉及了。可以看出作者是名十分敬业的开发人员!
  • 可以简单运行一下automation.py,直接运行的效果就是3秒后遍历当前活动窗口的所有控件。对QQ运行的效果:


     
     

     
     

    可见效果十分明显,窗口内的控件信息全部都显示出来了,包括控件类型,控件的名称,控件的位置(以像素为单位),句柄,控件树深度等。同时,所有信息会保存到当前目录下的@AutomationLog.txt文件中,方便查阅。

  • 作者提供了一个Demo,用于控制记事本程序:
import subprocess
import uiautomation as automation

print(automation.GetRootControl())
subprocess.Popen(\'notepad.exe\')
notepadWindow = automation.WindowControl(searchDepth = 1, ClassName = \'Notepad\')
print(notepadWindow.Name)
notepadWindow.SetTopmost(True)
edit = notepadWindow.EditControl()
edit.SetValue(\'Hello\')
edit.SendKeys(\'{Ctrl}{End}{Enter}World\')

GetRootControl()方法将返回根控件,也就是整个Windows可视化的桌面(这么理解没错吧)
WindowControl(searchDepth=1,ClassName=\'Notepad\')方法将创建一个WindowsControl对象,参数的作用是细化如何找到我们想要的控件,可用的参数有searchFromControl=None,searchDepth=0xFFFFFFF,searchWaitTime=SEARCH_INTERVAL,foundIndex=1,Name,SubName,ClassName,Depth等,可以去源码下的Control类的初始化方法init看一下这些参数怎么用。

  • 接下来作者介绍了一个小工具Inspect.exe,这个工具是微软提供的,可以用来探测UI的内容,这个程序自动集成在微软的Windows SDK中,我电脑上正好安装了Visual Studio和Windows SDK,应该可以找到这个程序。果然在工具集中找到了这个程序:


     
     

     
     

    可以看到使用效果非常好,窗口的构造一目了然!

  • 最后作者放了一些自己使用该模块的截图,可以看到,功能十分强大:


     

     

     

     

     

0x02 简单了解实现原理

作者在readme文档中外链了一篇博文,简单介绍了实现原理,为了能更好地掌握这个库的使用,这篇原理我也简单的学习一下。(原文链接

在最早的Windows开发中是没有自动化测试的概念的。1997年微软在操作系统中集成了MASS(Microsoft Active Accessibility)组件,但是微软开发MASS组件的初衷并不是为了自动化测试,而是提供了一套接口,让开发者们可以方便的开发残疾人士辅助软件,比如读屏软件等。伴随着自动化测试的应用越来越广泛,微软正视了自动化测试的需求,在MASS的基础上,对其重新封装设计并实现了UIAutomation的类库(.NET)。从Win7系统开始的后续Windows操作系统都整合了Windows Automation API的所有功能。作者在阅读了MSDN上的《UI Automation Client Programmer\'s Guide》和CodeMagazine上的《Creating UI Automation Client Applications》两篇文章后,用Python和C++对UIAutomation做了一层简单的封装,方便了想要用Python开发自动化测试应用而对.Net平台又不太熟悉的人,比如我。

0x03 API学习摘要

之前也已经提到,这个模块是作者对UIA用C++和Python简单的做了一层封装,只要能理解面向对象编程,学习难度也不是很大。正好,我在作者的CSDN博客里面找到了作者使用此模块的实例(原文链接),就以此为学习的入口,代码如下:

#!python3
# -*- coding: utf-8 -*-
"""
本脚本可以获取QQ2017(v8.9.4)群所有成员详细资料,请根据提示做对应的操作
作者:yinkaisheng@foxmail.com
"""
import time
import uiautomation as automation


def GetPersonDetail():
    detailWindow = automation.WindowControl(searchDepth= 1, ClassName = \'TXGuiFoundation\', SubName = \'的资料\')
    details = \'\'
    for control, depth in automation.WalkControl(detailWindow):
        if isinstance(control, automation.EditControl):
            details += control.Name + control.CurrentValue() + \'\n\'
    details += \'\n\' * 2
    detailWindow.Click(-10, 10)
    return details


def main():
    automation.Logger.WriteLine(\'请把鼠标放在QQ群聊天窗口中的一个成员上面,3秒后获取\n\')
    time.sleep(3)
    listItem = automation.ControlFromCursor()
    if listItem.ControlType != automation.ControlType.ListItemControl:
        automation.Logger.WriteLine(\'没有放在群成员上面,程序退出!\')
        return
    consoleWindow = automation.GetConsoleWindow()
    if consoleWindow:
        consoleWindow.SetActive()
    qqWindow = listItem.GetTopWindow()
    list = listItem.GetParentControl()
    allListItems = list.GetChildren()
    for listItem in allListItems:
        automation.Logger.WriteLine(listItem.Name)
    answer = input(\'是否获取详细信息?按y和Enter继续\n\')
    if answer.lower() == \'y\':
        automation.Logger.WriteLine(\'\n3秒后开始获取QQ群成员详细资料,您可以一直按住F10键暂停脚本\')
        time.sleep(3)
        qqWindow.SetActive()
        #确保群里第一个成员可见在最上面
        left, top, right, bottom = list.BoundingRectangle
        while allListItems[0].BoundingRectangle[1] < top:
            automation.Win32API.MouseClick(right - 5, top + 20)
        for listItem in allListItems:
            if listItem.ControlType == automation.ControlType.ListItemControl:
                if automation.Win32API.IsKeyPressed(automation.Keys.VK_F10):
                    if consoleWindow:
                        consoleWindow.SetActive()
                    input(\'\n您暂停了脚本,按Enter继续\n\')
                    qqWindow.SetActive()
                listItem.RightClick()
                menu = automation.MenuControl(searchDepth= 1, ClassName = \'TXGuiFoundation\')
                menuItems = menu.GetChildren()
                for menuItem in menuItems:
                    if menuItem.Name == \'查看资料\':
                        menuItem.Click()
                        break
                automation.Logger.WriteLine(listItem.Name, automation.ConsoleColor.Green)
                automation.Logger.WriteLine(GetPersonDetail())
                listItem.Click()
                automation.SendKeys(\'{Down}\')

if __name__ == \'__main__\':
    main()
    input(\'press Enter to exit\')

我用的环境是Pycharm2017.2社区版和Python3.6,这个模块的内容主要集中在uiautomation.py文件中,学习方法就是去这个文件里看相关的代码。先简单看一下这个代码,看看里面有哪些看不懂的,看不懂的地方就是要学习的地方。

首先是automation.WindowControl,这看起来是个对象,但是还不知道这个对象有哪些方法和属性,下面的WalkControl和EditControl应该也是对象,从命名上看可能直接代表了窗体中的不同控件。control.CurrentValue应该是属性,下面的detailWindow.Click()应该是模拟鼠标点击的方法。再看main()函数,Logger.WriteLine()方法应该是跟日志有关,ControlFromCursor()可能是从鼠标获取控件的方法......

这样看一遍大概就知道应该去源码里面找哪些定义了,我们利用PyCharm的跳转定义功能可以很容易地找到定义这些类和方法的代码,都在uiautomation.py这个文件中。源码就不贴了,通过跳转功能可以很容易地理解其中的方法与类之间的逻辑关系。这个文件中主要定义了“控件”这个类,就是两千多行处的Class Control(.............):这一大段代码,里面包含了所有对控件的方法和基本的属性。方法有获取控件名称啊,内容啊等,属性有位置啊,是否Active啊这些。然后由Control类派生出各个子类,代表具体的各种控件,比如WindowControl类表示窗口,EditControl类表示输入框,ButtonControl类代表按钮等等,几乎涵盖所有Win窗体程序的所有控件。并且作者在很多类下面做了详细的注释,阅读起来应该没有什么困难。理解的难点应该是这里面有大量关于WinForm开发的知识,需要一点基础。

那么当我们将这些方法与类的定义搞清楚之后,我们就能读懂这个实例的功能了。通过组合运用各个空间的属性和方法,实现从QQ群窗口中获得QQ群的信息。包括群号、群成员信息、聊天记录等信息,并保存到文本文件。

0x04 后记

  • 果然多看,多写才是提升实力的根本途径,教材看一百遍不如自己摸索一遍!
  • Life is short,use Python!


作者:8f7aac77586a
链接:https://www.jianshu.com/p/be3c46c7a905
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。