文件名称：JavLibraryCrawler
文件大小：12KB
文件格式：ZIP
更新时间：2024-06-27 04:06:38
Python
JavLibraryCrawler 该项目允许您从 javLibrary 中抓取所有电影。 它抓取以下项目： 标题 指定 图书馆网站的网址 类别清单 发布日期 期间 演员 封面图片网址 封面图片哈希值 它还会在本地下载封面图片并生成相应的图，您可以在设置中配置图片。 可以在找到图像设置教程。 ＃＃安装 安装 pip。 安装scrapy。 安装依赖： pip install -r requirements.txt ##Run 这个项目包含两种爬虫： 评分最高的电影（best_rated_spider） 所有电影（actor_spider） 要启动爬虫，请运行：仅抓取评分最高的电影（500 部电影）： scrapy crawl best_rated_spider 或者抓取库中的所有电影（> 150000部电影，所有封面图片的部分约为16 GB）。 scrapy cr
【文件预览】：
JavLibraryCrawler-master
----scrapy.cfg(272B)
----javLibraryCrawl()
--------pipelines.py.old(2KB)
--------pipelines.py(4KB)
--------spiders()
--------result(0B)
--------items.py(581B)
--------__init__.py(0B)
--------settings.py(996B)
--------requirements.txt(57B)
----src()
--------images()
----.gitignore(729B)
----README.md(1KB)