文件名称:imscrape-template:一般网页抓取项目的默认模板
文件大小:12KB
文件格式:ZIP
更新时间:2024-06-23 21:42:00
Python
它是什么? 我的抓取项目的默认模板。 通常,JavaScript/Mobile 前端或其他要使用的服务的顶部是很少的刮刀 + REST API。 取决于 MongoDB Redis 推荐人 如何使用 克隆仓库 git clone https://github.com/istinspring/imscrape-template cd imscrape-template 安装项目依赖 pip install -r requirements.txt 运行测试刮刀 python cli.py -T github 运行 REST API python api.py 芹菜的复杂运行 使用 Procfile 运行 api 和 celery honcho start 将爬虫作为 celery 任务运行,将-c选项传递给cli.py (命令行界面)脚本 python cli.py -T gi
【文件预览】:
imscrape-template-master
----.gitignore(735B)
----requirements.txt(124B)
----Makefile(170B)
----job.py(230B)
----tasks.py(355B)
----schemas()
--------__init__.py(0B)
--------github.py(656B)
----LICENSE(1KB)
----scrapers()
--------core()
--------__init__.py(0B)
--------github.py(2KB)
----cli.py(1KB)
----utils()
--------__init__.py(0B)
--------api_factory.py(358B)
--------run_interface.py(1KB)
--------scrapers_factory.py(1KB)
--------moduleimport.py(822B)
----api.py(143B)
----README.md(2KB)
----Procfile(101B)
----settings.py(1KB)