文件名称：dmi-amazon-recscraper:亚马逊推荐抓取工具
文件大小：16KB
文件格式：ZIP
更新时间：2024-06-18 11:02:13
recommendations amazon scraping selenium JavaScript
亚马逊推荐抓取工具 这是亚马逊产品推荐的命令行抓取工具，生成网络文件，可用于在亚马逊的推荐中查找模式、“兔子洞”等。 这远不是第一个为此编写的代码，但亚马逊使抓取变得非常困难，不再提供 API，也没有使基于请求的抓取变得容易。 该脚本通过Python使用来使用实际的浏览器转到Amazon页面，然后提取在页面上找到的建议。 这种方法有缺点：速度慢且资源密集。 使用这种方法抓取每个项目需要 10-30 秒。 但它现在有效。 安装 要使用这些脚本，您需要安装和兼容的 。 有很多关于如何做后者的指南（例如这些适用于或 ）。 完成后，下载爬虫脚本（例如，通过在本地克隆此 git 存储库）并运行pip install -r requirements.txt以安装所需的库（如果pip不起作用，请尝试pip3 ）。 用法 安装依赖项后，只需从命令行调用脚本： python scrape.py -
【文件预览】：
dmi-amazon-recscraper-master
----carousels.js(9KB)
----VERSION(3B)
----stealthify.js(8KB)
----requirements.txt(17B)
----LICENSE(17KB)
----scrape.py(9KB)
----setup.py(1KB)
----README.md(3KB)