【文件属性】：
文件名称：scrapy-html-storage:Scrapy下载器中间件，将响应HTML存储到磁盘
文件大小：8KB
文件格式：ZIP
更新时间：2021-05-11 04:30:08
python middleware scrapy Python
关于
这是Scrapy下载器中间件，用于将响应HTML存储到磁盘。
用法
打开下载器，例如在settings.py中指定它：
DOWNLOADER_MIDDLEWARES = {
'scrapy_html_storage.HtmlStorageMiddleware': 10,
}
默认情况下，任何响应都不会保存到磁盘。 您必须选择将针对哪些请求保存响应HTML：
def parse(self, response):
"""Processes start urls.
Args:
response (HtmlResponse): scrapy HTML response object.
"""
yield scrapy.Request(
'http://target.com',
call
【文件预览】：
scrapy-html-storage-master
----requirements()
--------dev.txt(103B)
----README.rst(2KB)
----LICENSE.txt(1KB)
----scrapy_html_storage()
--------__init__.py(3KB)
--------filesys.py(1KB)
----CHANGELOG.rst(631B)
----.travis.yml(142B)
----setup.cfg(41B)
----setup.py(438B)
----Makefile(493B)
----tests()
--------test_html_storage_middleware.py(5KB)
----.gitignore(26B)