scrapy-flask:在Flask Web应用程序中执行Scrapy Spiders

时间:2021-05-15 15:03:37
【文件属性】:
文件名称:scrapy-flask:在Flask Web应用程序中执行Scrapy Spiders
文件大小:8KB
文件格式:ZIP
更新时间:2021-05-15 15:03:37
Python WSGI和Scrapy 关于Scrapy *的一个常见问题是“如何在Flask,Django或任何其他Python Web框架中使用Scrapy?” 大多数工具都习惯于使用Scrapy生成的项目和cli选项,这使抓取工作变得轻而易举,但在尝试将Scrapy集成到WSGI Web框架时感到困惑。 遇到的常见回溯是ReactorNotRestartable ,它源于底层框架。 发生这种情况的原因是,与asyncio或Tornado不同,Twisted的eventloop / reactor一旦停止就无法重新启动(原因有点超出范围)。 因此,很明显,整合Scrapy和WSGI框架的技巧涉及到能够控制Twisted。 幸运的是,将异步Twisted代码与同步代码集成在一起已经变得非常容易,而且变得越来越容易。 在这篇文章中,将演示以下内容: 将搜寻器嵌入WSGI应用程序
【文件预览】:
scrapy-flask-master
----quote_scraper.py(1KB)
----requirements.py(21B)
----.gitignore(1KB)
----README.md(11KB)
----flask_twisted.py(2KB)
----flask_crochet.py(2KB)

网友评论