文件名称：scrapy-flask:在Flask Web应用程序中执行Scrapy Spiders
文件大小：8KB
文件格式：ZIP
更新时间：2024-06-04 08:50:17
Python
WSGI和Scrapy 关于Scrapy *的一个常见问题是“如何在Flask，Django或任何其他Python Web框架中使用Scrapy？” 大多数工具都习惯于使用Scrapy生成的项目和cli选项，这使抓取工作变得轻而易举，但在尝试将Scrapy集成到WSGI Web框架时感到困惑。 遇到的常见回溯是ReactorNotRestartable ，它源于底层框架。 发生这种情况的原因是，与asyncio或Tornado不同，Twisted的eventloop / reactor一旦停止就无法重新启动（原因有点超出范围）。 因此，很明显，整合Scrapy和WSGI框架的技巧涉及到能够控制Twisted。 幸运的是，将异步Twisted代码与同步代码集成在一起已经变得非常容易，而且变得越来越容易。 在这篇文章中，将演示以下内容： 将搜寻器嵌入WSGI应用程序
【文件预览】：
scrapy-flask-master
----quote_scraper.py(1KB)
----requirements.py(21B)
----.gitignore(1KB)
----README.md(11KB)
----flask_twisted.py(2KB)
----flask_crochet.py(2KB)