【文件属性】：
文件名称：scrapy-redis：Scrapy的基于Redis的组件
文件大小：52KB
文件格式：ZIP
更新时间：2021-02-18 16:49:12
redis crawler distributed scrapy Python
Scrapy-Redis
Scrapy的基于Redis的组件。
免费软件：MIT许可证
文档： : 。
Python版本：2.7、3.4+
特征
分布式抓取/抓取
您可以启动共享单个redis队列的多个蜘蛛实例。 最适合广泛的多域爬网。
分布式后处理
报废的项目将被放入Redis队列中，这意味着您可以启动所需的共享项目队列的后处理流程。
轻巧的即插即用组件
计划程序+复制过滤器，项目管道，基本蜘蛛网。
笔记
此功能涵盖了在多个工作人员之间分配工作负载的基本情况。 如果您需要更多功能，例如URL到期，高级URL优先级设置等，我们建议您看一下项目。
要求
Python 2.7、3.4或3.5
Redis> = 2.8
Scrapy > = 1.1
redis-py > = 2.10
用法
在您的项目中使用以下设置：
# Enables scheduling stori
【文件预览】：
scrapy-redis-master
----MANIFEST.in(227B)
----.dockerignore(370B)
----README.rst(7KB)
----CONTRIBUTING.rst(3KB)
----requirements-setup.txt(107B)
----VERSION(10B)
----example-project()
--------README.rst(2KB)
--------process_items.py(3KB)
--------Dockerfile(103B)
--------scrapy.cfg(246B)
--------requirements.txt(20B)
--------example()
--------docker-compose.yml(142B)
----.bumpversion.cfg(789B)
----src()
--------scrapy_redis()
----requirements-dev.txt(139B)
----HISTORY.rst(3KB)
----AUTHORS.rst(160B)
----.travis.yml(1KB)
----tox.ini(610B)
----TODO.rst(767B)
----pytest.ini(154B)
----LICENSE(1KB)
----setup.cfg(76B)
----requirements-tests.txt(83B)
----setup.py(2KB)
----Makefile(4KB)
----.cookiecutterrc(566B)
----docs()
--------authors.rst(28B)
--------make.bat(6KB)
--------scrapy_redis.rst(1KB)
--------readme.rst(27B)
--------contributing.rst(33B)
--------conf.py(8KB)
--------installation.rst(1KB)
--------requirements.txt(93B)
--------history.rst(28B)
--------index.rst(475B)
--------Makefile(7KB)
--------modules.rst(73B)
----requirements-install.txt(96B)
----.editorconfig(292B)
----tests()
--------test_scrapy_redis.py(9KB)
--------test_queue.py(1KB)
--------test_picklecompat.py(544B)
--------test_connection.py(2KB)
--------test_package_import.py(156B)
--------test_spiders.py(5KB)
--------test_dupefilter.py(3KB)
--------test_utils.py(213B)
----.gitignore(751B)
----.coveragerc(341B)