文件名称：scrapy-redis：Scrapy的基于Redis的组件
文件大小：52KB
文件格式：ZIP
更新时间：2024-03-10 10:35:52
redis crawler distributed scrapy Python
Scrapy-Redis Scrapy的基于Redis的组件。 免费软件：MIT许可证 文档： : 。 Python版本：2.7、3.4+ 特征 分布式抓取/抓取 您可以启动共享单个redis队列的多个蜘蛛实例。 最适合广泛的多域爬网。 分布式后处理 报废的项目将被放入Redis队列中，这意味着您可以启动所需的共享项目队列的后处理流程。 轻巧的即插即用组件 计划程序+复制过滤器，项目管道，基本蜘蛛网。 笔记 此功能涵盖了在多个工作人员之间分配工作负载的基本情况。 如果您需要更多功能，例如URL到期，高级URL优先级设置等，我们建议您看一下项目。 要求 Python 2.7、3.4或3.5 Redis> = 2.8 Scrapy > = 1.1 redis-py > = 2.10 用法 在您的项目中使用以下设置： # Enables scheduling stori
【文件预览】：
scrapy-redis-master
----MANIFEST.in(227B)
----.dockerignore(370B)
----README.rst(7KB)
----CONTRIBUTING.rst(3KB)
----requirements-setup.txt(107B)
----VERSION(10B)
----example-project()
--------README.rst(2KB)
--------process_items.py(3KB)
--------Dockerfile(103B)
--------scrapy.cfg(246B)
--------requirements.txt(20B)
--------example()
--------docker-compose.yml(142B)
----.bumpversion.cfg(789B)
----src()
--------scrapy_redis()
----requirements-dev.txt(139B)
----HISTORY.rst(3KB)
----AUTHORS.rst(160B)
----.travis.yml(1KB)
----tox.ini(610B)
----TODO.rst(767B)
----pytest.ini(154B)
----LICENSE(1KB)
----setup.cfg(76B)
----requirements-tests.txt(83B)
----setup.py(2KB)
----Makefile(4KB)
----.cookiecutterrc(566B)
----docs()
--------authors.rst(28B)
--------make.bat(6KB)
--------scrapy_redis.rst(1KB)
--------readme.rst(27B)
--------contributing.rst(33B)
--------conf.py(8KB)
--------installation.rst(1KB)
--------requirements.txt(93B)
--------history.rst(28B)
--------index.rst(475B)
--------Makefile(7KB)
--------modules.rst(73B)
----requirements-install.txt(96B)
----.editorconfig(292B)
----tests()
--------test_scrapy_redis.py(9KB)
--------test_queue.py(1KB)
--------test_picklecompat.py(544B)
--------test_connection.py(2KB)
--------test_package_import.py(156B)
--------test_spiders.py(5KB)
--------test_dupefilter.py(3KB)
--------test_utils.py(213B)
----.gitignore(751B)
----.coveragerc(341B)