Android自动化测试中AccessibilityService获取控件信息（1）

时间：2021-05-14 21:28:19
分类： android自动化测试2014-03-24 15:31 3455人阅读 评论(16) 收藏 举报
 

目录(?)[+]

 

AccessibilityService为一个响应用户发送AccessibilityEvent事件的服务类，主要用作对于一些辅助功能的实现中。对于某些方面有缺陷的人群，可以通过辅助功能反馈给用户。

AccessibilityService的介绍，网络上有很多，我就不多做介绍了。我把怎么实现它跟大家分享一下，以及怎么把它跟Android自动化测试扯上关系的学习过程给大家介绍一下。

第一步  编写辅助程序

创建一个Android项目，创建一个服务类，继承AccessibilityService。

  1. import android.accessibilityservice.AccessibilityService;
  2. import android.accessibilityservice.AccessibilityServiceInfo;
  3. import android.annotation.SuppressLint;
  4. import android.util.Log;
  5. import android.view.accessibility.AccessibilityEvent;
  6. import android.view.accessibility.AccessibilityNodeInfo;
  7. @SuppressLint("NewApi")
  8. public class MyAccessibility extends AccessibilityService {
  9. private static final String TAG = "MyAccessibility";
  10. String[] PACKAGES = { "com.android.settings" };
  11. @Override
  12. protected void onServiceConnected() {
  13. Log.i(TAG, "config success!");
  14. AccessibilityServiceInfo accessibilityServiceInfo = new AccessibilityServiceInfo();
  15. // accessibilityServiceInfo.packageNames = PACKAGES;
  16. accessibilityServiceInfo.eventTypes = AccessibilityEvent.TYPES_ALL_MASK;
  17. accessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_SPOKEN;
  18. accessibilityServiceInfo.notificationTimeout = 1000;
  19. setServiceInfo(accessibilityServiceInfo);
  20. }
  21. @SuppressLint("NewApi")
  22. @Override
  23. public void onAccessibilityEvent(AccessibilityEvent event) {
  24. // TODO Auto-generated method stub
  25. int eventType = event.getEventType();
  26. String eventText = "";
  27. Log.i(TAG, "==============Start====================");
  28. switch (eventType) {
  29. case AccessibilityEvent.TYPE_VIEW_CLICKED:
  30. eventText = "TYPE_VIEW_CLICKED";
  31. break;
  32. case AccessibilityEvent.TYPE_VIEW_FOCUSED:
  33. eventText = "TYPE_VIEW_FOCUSED";
  34. break;
  35. case AccessibilityEvent.TYPE_VIEW_LONG_CLICKED:
  36. eventText = "TYPE_VIEW_LONG_CLICKED";
  37. break;
  38. case AccessibilityEvent.TYPE_VIEW_SELECTED:
  39. eventText = "TYPE_VIEW_SELECTED";
  40. break;
  41. case AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED:
  42. eventText = "TYPE_VIEW_TEXT_CHANGED";
  43. break;
  44. case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:
  45. eventText = "TYPE_WINDOW_STATE_CHANGED";
  46. break;
  47. case AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED:
  48. eventText = "TYPE_NOTIFICATION_STATE_CHANGED";
  49. break;
  50. case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_END:
  51. eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_END";
  52. break;
  53. case AccessibilityEvent.TYPE_ANNOUNCEMENT:
  54. eventText = "TYPE_ANNOUNCEMENT";
  55. break;
  56. case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_START:
  57. eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_START";
  58. break;
  59. case AccessibilityEvent.TYPE_VIEW_HOVER_ENTER:
  60. eventText = "TYPE_VIEW_HOVER_ENTER";
  61. break;
  62. case AccessibilityEvent.TYPE_VIEW_HOVER_EXIT:
  63. eventText = "TYPE_VIEW_HOVER_EXIT";
  64. break;
  65. case AccessibilityEvent.TYPE_VIEW_SCROLLED:
  66. eventText = "TYPE_VIEW_SCROLLED";
  67. break;
  68. case AccessibilityEvent.TYPE_VIEW_TEXT_SELECTION_CHANGED:
  69. eventText = "TYPE_VIEW_TEXT_SELECTION_CHANGED";
  70. break;
  71. case AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED:
  72. eventText = "TYPE_WINDOW_CONTENT_CHANGED";
  73. break;
  74. }
  75. eventText = eventText + ":" + eventType;
  76. Log.i(TAG, eventText);
  77. Log.i(TAG, "=============END=====================");
  78. }
  79. @Override
  80. public void onInterrupt() {
  81. // TODO Auto-generated method stub
  82. }
  83. }

该服务类继承了3个方法：

1.onServiceConnected()：绑定服务所用方法，一些初始化的操作放在这里面。

2.onAccessibilityEvent(AccessibilityEvent event)：响应AccessibilityEvent的事件，在用户操作的过程中，系统不断的发送sendAccessibiltyEvent(AccessibilityEvent event)；然后通过onAccessibilityEvent()可以捕捉到该事件，然后分析。

3.public void onInterrupt()：打断获取事件的过程，本例中暂不适用。

在onServiceConnected()我们做了一些初始化的工作，通过AccessibilityServiceInfo设置了AccessibilityService的一些参数

//ccessibilityServiceInfo.packageNames = PACKAGES：响应某个应用的时间，包名为应用的包名；可以用String[]对象传入多包。如果不设置，默认响应所有应用的事件。

ssibilityServiceInfo.eventTypes = AccessibilityEvent.TYPES_ALL_MASK：响应时间的类型，事件分很多种：单击、长按、滑动等，需要指定，我设置了所有事件都响应：TYPES_ALL_MASK。

cessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_SPOKEN：设置回馈给用户的方式，是语音播出还是振动。这个我们稍后尝试配置一些TTS引擎，让它发音。

cessibilityServiceInfo.notificationTimeout = 1000：看意思就能明白，响应时间的设置。

接下来我们要在配置文件AndroidManifest.xml配置该服务：

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <manifest xmlns:android="http://schemas.android.com/apk/res/android"
  3. package="com.spreadtrum.accessibilityservice"
  4. android:versionCode="1"
  5. android:versionName="1.0" >
  6. <uses-sdk
  7. android:minSdkVersion="8"
  8. android:targetSdkVersion="17" />
  9. <application
  10. android:allowBackup="true"
  11. android:icon="@drawable/ic_launcher"
  12. android:label="@string/app_name"
  13. android:theme="@style/AppTheme" >
  14. <service
  15. android:name=".MyAccessibility"
  16. android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE" >
  17. <intent-filter>
  18. <action android:name="android.accessibilityservice.AccessibilityService" />
  19. </intent-filter>
  20. </service>
  21. </application>
  22. </manifest>

这些设置很重要，因为AccessibilityService服务不是用户去开启的。我们无法用startService()方法启动它，所以我连activity都没写。因为它是通过该配置让系统自动识别的，识别成功后，就会在我们手机里面看到该服务，然后需要手动开启该服务（所以千万别粗心写错，我就是因为少写了一个单词，然后安装上app，一直没反应，它也不报错，害我找错找了半天，后来发现是自己的低级错误。）。

现在我们就可以将应用部署到手机上，部署成功后我们点：设置->辅助功能。找到我们的服务，如图：

Android自动化测试中AccessibilityService获取控件信息（1）

看到我们的应用会显示在其中，默认是关闭的；如果你在此没看见你的服务，那么你应该核对一下你的配置文件，确保配置正确；点进去，打开该服务。

然后我们就可以随意在你的手机设备上操作，看看log输出：

Android自动化测试中AccessibilityService获取控件信息（1）

我们就会看到我们点击的事件，被服务在后台捕捉到了。接下来，我们尝试着从我们捕捉到的时间中获得我们有用的时间，AccessibilityEvent API 中有一个getSource()方法。得到的是AccessibilityNodeInfo，试着获得这个对象。我们看看是什么东西。

第二步 获得控件信息

在调用这个getSource()方法时，需要事先配置一下，也就是需要android：canRetrieveWindowContent="true"，这个属性是API14（android4.0）给出的，它的配置方法受限于需要采用XML初始化的方式配置AccessibilityService，也就是我们现在不在onServiceConnected()里配置初始化信息，改在xml里实现。那么我们现在就要将上面的程序修改一下。首先，删除onServiceConnected()的配置(因为getSource()不是所有的操作都有该方法，所以得在特定的方法中实现该方法，我们选择在TYPE_VIEW_CLICKED里实现)，修改后的服务类如下：

  1. package com.spreadtrum.accessibilityservice;
  2. import android.accessibilityservice.AccessibilityService;
  3. import android.accessibilityservice.AccessibilityServiceInfo;
  4. import android.annotation.SuppressLint;
  5. import android.util.Log;
  6. import android.view.accessibility.AccessibilityEvent;
  7. import android.view.accessibility.AccessibilityNodeInfo;
  8. @SuppressLint("NewApi")
  9. public class MyAccessibility extends AccessibilityService {
  10. private static final String TAG = "MyAccessibility";
  11. String[] PACKAGES = { "com.android.settings" };
  12. @Override
  13. protected void onServiceConnected() {
  14. Log.i(TAG, "config success!");
  15. }
  16. @SuppressLint("NewApi")
  17. @Override
  18. public void onAccessibilityEvent(AccessibilityEvent event) {
  19. // TODO Auto-generated method stub
  20. int eventType = event.getEventType();
  21. String eventText = "";
  22. switch (eventType) {
  23. case AccessibilityEvent.TYPE_VIEW_CLICKED:
  24. Log.i(TAG, "==============Start====================");
  25. eventText = "TYPE_VIEW_CLICKED";
  26. AccessibilityNodeInfo noteInfo = event.getSource();
  27. Log.i(TAG, noteInfo.toString());
  28. Log.i(TAG, "=============END=====================");
  29. break;
  30. case AccessibilityEvent.TYPE_VIEW_FOCUSED:
  31. eventText = "TYPE_VIEW_FOCUSED";
  32. break;
  33. case AccessibilityEvent.TYPE_VIEW_LONG_CLICKED:
  34. eventText = "TYPE_VIEW_LONG_CLICKED";
  35. break;
  36. case AccessibilityEvent.TYPE_VIEW_SELECTED:
  37. eventText = "TYPE_VIEW_SELECTED";
  38. break;
  39. case AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED:
  40. eventText = "TYPE_VIEW_TEXT_CHANGED";
  41. break;
  42. case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:
  43. eventText = "TYPE_WINDOW_STATE_CHANGED";
  44. break;
  45. case AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED:
  46. eventText = "TYPE_NOTIFICATION_STATE_CHANGED";
  47. break;
  48. case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_END:
  49. eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_END";
  50. break;
  51. case AccessibilityEvent.TYPE_ANNOUNCEMENT:
  52. eventText = "TYPE_ANNOUNCEMENT";
  53. break;
  54. case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_START:
  55. eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_START";
  56. break;
  57. case AccessibilityEvent.TYPE_VIEW_HOVER_ENTER:
  58. eventText = "TYPE_VIEW_HOVER_ENTER";
  59. break;
  60. case AccessibilityEvent.TYPE_VIEW_HOVER_EXIT:
  61. eventText = "TYPE_VIEW_HOVER_EXIT";
  62. break;
  63. case AccessibilityEvent.TYPE_VIEW_SCROLLED:
  64. eventText = "TYPE_VIEW_SCROLLED";
  65. break;
  66. case AccessibilityEvent.TYPE_VIEW_TEXT_SELECTION_CHANGED:
  67. eventText = "TYPE_VIEW_TEXT_SELECTION_CHANGED";
  68. break;
  69. case AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED:
  70. eventText = "TYPE_WINDOW_CONTENT_CHANGED";
  71. break;
  72. }
  73. }
  74. @Override
  75. public void onInterrupt() {
  76. // TODO Auto-generated method stub
  77. }
  78. }

然后我们要在res文件写创建一个XML文件夹，里面新建accessibility.xml配置文件。

Android自动化测试中AccessibilityService获取控件信息（1）

在accessibility.xml配置一些属性：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
  3. android:accessibilityEventTypes="typeViewClicked|typeViewFocused"
  4. android:accessibilityFeedbackType="feedbackSpoken"
  5. android:notificationTimeout="100"
  6. android:canRetrieveWindowContent="true"
  7. />

重点就是标红的这一句，这样我们就能在程序中得到AccessibilityNodeInfo对象。然后在AndroidManifest.xml配置文件里引用该XML文件：

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <manifest xmlns:android="http://schemas.android.com/apk/res/android"
  3. package="com.spreadtrum.accessibilityservice"
  4. android:versionCode="1"
  5. android:versionName="1.0" >
  6. <uses-sdk
  7. android:minSdkVersion="8"
  8. android:targetSdkVersion="17" />
  9. <application
  10. android:allowBackup="true"
  11. android:icon="@drawable/ic_launcher"
  12. android:label="@string/app_name"
  13. android:theme="@style/AppTheme" >
  14. <service
  15. android:name=".MyAccessibility"
  16. android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE" >
  17. <intent-filter>
  18. <action android:name="android.accessibilityservice.AccessibilityService" />
  19. </intent-filter>
  20. <meta-data
  21. android:name="android.accessibilityservice"
  22. android:resource="@xml/accessibility" />
  23. </service>
  24. </application>
  25. </manifest>

然后我们部署应用到手机设备，看输出情况：

Android自动化测试中AccessibilityService获取控件信息（1）

        注意：

在你配置成功后，有可能会报空指针错误，但有可能你已经配置正确，只是你点的对象有问题。因为在API文档中有一句话：如果发起的窗口事件仍然是活动的窗口，该调用将会返回一个对象，否则，会返回null！所以首先确保你刚开始点击的那个控件所在的窗口要是活动的状态，不然也会报null。例如：我刚开始点击HOME界面的所有应用按钮进入到应用的列表，这时候就会报错，如果你是点击通讯录触发服务的，就没问题；原理我也不太清楚，所以不敢大放厥词，反正在一个应用中来回点是没问题的；这个随着深入的了解后，相信会有答案的。

 

相关文章