【文件属性】：
文件名称：scrapinghub-entrypoint-scrapy:Scrapinghub求职者的崎cra入口点
文件大小：39KB
文件格式：ZIP
更新时间：2021-05-23 19:18:08
Python
scrapinghub-entrypoint-scrapy
Scrapinghub求职者的粗糙入口点。
该软件包实现了一个基础包装层，以从环境中提取作业数据，对其进行正确的解析/准备，并使用Scrapy或自定义执行程序执行作业。
特征
从环境中解析作业数据
处理作业参数和设置
与Scrapy一起工作
收集统计数据
高级日志记录和错误处理
全面的存储支持
自定义脚本支持
安装
pip install scrapinghub-entrypoint-scrapy
【文件预览】：
scrapinghub-entrypoint-scrapy-master
----setup.py(1KB)
----.gitignore(51B)
----sh_scrapy()
--------compat.py(2KB)
--------env.py(4KB)
--------writer.py(2KB)
--------middlewares.py(3KB)
--------crawl.py(7KB)
--------__init__.py(0B)
--------log.py(5KB)
--------extension.py(3KB)
--------utils.py(173B)
--------stats.py(1021B)
--------hsref.py(2KB)
--------commands()
--------diskquota.py(1KB)
--------settings.py(9KB)
--------exceptions.py(194B)
----.travis.yml(984B)
----.bumpversion.cfg(120B)
----LICENSE(1KB)
----setup.cfg(79B)
----README.rst(590B)
----tests()
--------conftest.py(859B)
--------test_writer.py(3KB)
--------__init__.py(0B)
--------test_middlewares.py(4KB)
--------test_extension.py(5KB)
--------test_log.py(8KB)
--------test_hsref.py(3KB)
--------test_env.py(6KB)
--------test_utils.py(867B)
--------test_crawl.py(10KB)
--------test_stats.py(1KB)
--------test_diskquota.py(2KB)
--------test_compat.py(1KB)
--------test_settings.py(15KB)
----tox.ini(233B)