【文件属性】：
文件名称：scrapy-demo:使用Selenium和chromedriver演示scrappy项目
文件大小：29KB
文件格式：ZIP
更新时间：2021-05-02 15:48:52
Python
Scrapy Python Scraper演示
Scrapy演示使用我来刮擦。 医师调查使用了许多原始的scrapy无法处理的javascript。 本演示使用Selenium和Chrome / Chromedriver处理js交互。
由于该演示需要填写一个js控制的表单，因此我们开始与Selenium进行表单交互，然后移交给scrapy，然后返回Selenium...。
Scrapy基于Python Twisted框架构建，即它以非阻塞方式运行，因此Spiders并发运行。
要求
Python 3.6
cra草
Selenium
Chrome / Chrome驱动程序
美丽汤4
SqlAlchemy的
码头工人
用法
cd scrapy-demo
# copy the sample.env to .env and update the values in .env
cp .sam
【文件预览】：
scrapy-demo-master
----scrapy.cfg(263B)
----.sample-env(676B)
----.idea()
--------misc.xml(345B)
--------vcs.xml(180B)
--------modules.xml(274B)
--------scrapy-demo.iml(488B)
----docker-compose.yml(590B)
----.gitignore(12B)
----scrapy_dca()
--------items.pyc(853B)
--------models.py(968B)
--------middlewares.py(4KB)
--------pipelines.pyc(1KB)
--------pipelines.py(1KB)
--------spiders()
--------__init__.pyc(126B)
--------__pycache__()
--------items.py(955B)
--------__init__.py(0B)
--------settings.py(3KB)
--------settings.pyc(466B)
--------middlewares.pyc(3KB)
----README.md(4KB)