【文件属性】：
文件名称：scrapy-requests:Scrapy中间件使用request-html处理javascript页面
文件大小：7KB
文件格式：ZIP
更新时间：2021-05-04 15:29:54
Python
拼命的要求
Scrapy中间件可使用request-html异步处理javascript页面。
request-html使用pyppeteer加载javascript页面，并为您处理用户代理规范。 使用requests-html非常直观和简单。
要求
Python> = 3.6
Scrapy> = 2.0
request-html
安装
pip install scrapy-requests
配置
扭曲使用Asyncio事件循环，并将RequestsMiddleware添加到下载器中间件
settings.py
TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'
DOWNLOADER_MIDDLEWARES = {
'scrapy_requests.RequestsMid
【文件预览】：
scrapy-requests-main
----.travis.yml(391B)
----tests()
--------test_request.py(2KB)
--------__init__.py(0B)
----tox.ini(317B)
----LICENSE(1KB)
----setup.cfg(255B)
----requirements.txt(35B)
----setup.py(1KB)
----README.md(2KB)
----scrapy_requests()
--------request.py(706B)
--------middleware.py(2KB)
--------__init__.py(96B)