Workload Automation介绍
Workload Automation是提供一个在设备上运行各种workload的工具,使用Python编写。WA具有良好的框架结构,方便快捷的扩展。包含几个方面的扩展:workloads、instruments、result_processors、devices。
workloads:用于在设备上生成各种负荷,这些负荷能较好的控制,进行稳定的测试输入。
instruments:用于获取各种测试数据,比如trace-cmd获取ftracelog、energy_probe获取Power Monitor数据等。
result_processors:用于对测试数据分析,得出测试结果。比如ipynb_exporter使用IPython Notebook。
devices:是针对待测设备的配置。
WA框架
WA安装和使用
下载代码:git clone https://github.com/ARM-software/workload-automation.git
安装WA
sudo python setup.py install |
运行WA
wa run xxx.yaml -c config.py -d out_dir |
xxx.yaml是workload的配置文件。
config.py是针对测试环境、待测设备等相关的配置。
out_dir是输出目录。
xxx.yaml的配置比较广泛,WA相关的扩展都可以在这里配置。
wa list xxx显示当前WA扩展功能列表。
wa show xxx显示扩展功能的详细信息。
wa create xxx创建一个新WA workload/package/agenda。
WA框架分析
从上面的WA执行流可以清晰的看出WA的是如何工作的。
在执行必要的初始化工作之后,WA开始配置待测设备,加载配置测试仪器。
然后按照agenda中定义的workload开始执行,在执行过程中收集数据。
执行结束过后,进行数据处理。
最后做一些清理工作,关闭应用,清空临时文件等操作。
代码分析
wa可执行文件位于/usr/local/bin/wa:
#!/usr/bin/python # EASY-INSTALL-SCRIPT: 'wlauto==2.5.0','wa' __requires__ = 'wlauto==2.5.0' __import__('pkg_resources').run_script('wlauto==2.5.0', 'wa') |
然后跳转到/usr/local/lib/python2.7/dist-packages/wlauto-2.5.0-py2.7.egg/EGG-INFO/scripts/wa:
#!/usr/bin/python from wlauto.core.entry_point import main main() |
core/entry_point.py是真正的点。
WA扩展功能分析
workloads
dhrystone
dhrystone最初是用来进行CPU性能测试,这里主要用来产生100%的负荷。
可以设置duration或者mloops指定执行时间,threads指定启动多少个dhrystone线程。delay可以在dhrystone进程间阶梯启动。
Antutu
针对Antutu这种类型需要UI互动的workload,需要通过UiAutomation支持。
android.app.UiAutomation通过虚拟用户动作操作UI界面并且能否识别屏幕内容。它基于accessibility API来分析UI然后在待测设备view tree上执行操作。它能接受任意类型的键盘和触摸设备的用户交互。
详细信息参考:https://developer.android.google.cn/reference/android/app/UiAutomation.html
instruments
trace-cmd
cpufreq
energy_probe
result_processors
ipynb_exporter
可以将IPython Notebook类型的文件转换成html或者pdf方便阅读:
html:jupyter-nbconvert --to html <ipynb_file_to_convert>
pdf:jupyter-nbconvert --to pdf <ipynb_file_to_convert>
一个基于dhrystone分析IPA案例
编写yaml配置文件
config: ] |
执行测试,获取数据
wa run ipa_tunning.yaml |
基于ipynb_notebook生成分析结果
ipython脚本如下,这里使用到一个python库trappy,专门生成图形化报表。
trappy.summary_plots实现了一系列针对IPA的图表:
IPA的主要功能就是控制CPU温度,可以通过降低频率等措施来cooling。
可以看到CUP的温度得到了很好的,控制
下面IPA Governor的核心PID控制器的图表,也很直观地反映了P、I、D三个参数变化情况,以及PID控制器的输出。
下面图表反映了cpufreq的统计信息。
参考资料:
Workload Automation:http://pythonhosted.org/wlauto/index.html