13.App爬取相关库的安装(Charles,Mitmproxy,Appium)

时间:2021-12-14 23:58:08
由于App没有像浏览器一样直观的后台请求工具,主要用一些抓包技术抓取数据。(目前也在学习安装,参考书籍。)

首先呢,一些简单的接口通过Charles或mitmproxy分析,找出规律,直接用程序去抓取就行。但是遇到麻烦的接口,就需要用到mitmdump对接python来对抓取到的请求和响应进行实时处理和保存。
规模性的采集,可以借助工具appium,自动化模拟app的点击、下拉操作。 一.安装Charles
1.安装Charles
下载地址:https://www.charlesproxy.com/download/ 下载对应版本(选择试用,跟pycharm一样都是可以试用30天) 2.解压安装包,安装到配置目录。 3.修改证书配置
原因:app通信应用了https协议,它的通信数据就会被加密,常规的截包方法无法请求数据。 配置步骤 打开软件 点击Help>SSL Proxying>Install Charles Root Certificate

13.App爬取相关库的安装(Charles,Mitmproxy,Appium)

点击安装证书>下一步>将所有证书放入到下列存储>浏览>受信任的根证书颁发机构>确定>下一步>完成

二.安装 mitmproxy 
mitmproxy 是个支持http和https的抓包程序,类似fiddles,charles,它是通过控制台形式操作的。

含有两个关键组件:
mitdunp 命令行接口,通过它对接python脚本,实现监听后的处理。
mitweb  是一个web程序,通过它观察到mitmproxy捕获的请求。 这里我直接通过pip 简单安装 pip3 install mitmproxy
三.Appium安装
Appium 移动端自动化测试工具 

下载地址:  https://github.com/appium/appium-desktop/releases

安装1.7.0版本成功 如图:

13.App爬取相关库的安装(Charles,Mitmproxy,Appium)


下一步安装node.js过程参考:  http://www.runoob.com/nodejs/nodejs-install-setup.html

下载node.js 安装包  : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi

我采取的是二进制exe文件安装 过程如图:

13.App爬取相关库的安装(Charles,Mitmproxy,Appium)

四.Android开发环境配置

使用安卓设备做app抓取:下载配置 Android SDK 安装 Android Studio(大神推荐安装)

下载地址:https://developer.android.com/studio/index.html?hl=zh-cn (网站暂时进不去,未安装成功!)