nest-weedmaps:用于 Nest 的 Weedmaps 抓取模块(Node.js 的网络抓取框架)

时间:2024-06-18 06:02:49
【文件属性】:

文件名称:nest-weedmaps:用于 Nest 的 Weedmaps 抓取模块(Node.js 的网络抓取框架)

文件大小:6KB

文件格式:ZIP

更新时间:2024-06-18 06:02:49

JavaScript

用于 Nest 的 Weedmaps 刮板模块 消除Weedmaps上的所有压力,并帮助您按价格和位置进行组织。 要求 MongoDB 启动并运行 节点 安装 git clone https://github.com/dsalehipour/nest-weedmaps.git cd nest-weedmaps npm install 此外,请确保 MongoDB 已启动并正在运行。 请参阅 。 用法 通过运行node index.js抓取 Weedmaps 发生了什么? 运行 index.js 后,工作人员(抓取机器人)将转到菌株目录,抓取网格中的 40 个菌株,将这些抓取的项目存储在数据库中,并通过其 href 将抓取作业排队到这些菌株。 然后,它将分页并抓取菌株目录的下一页。 同时,其他工作人员将选择队列中的作业,抓取菌株页面,并通过其 href 更新数据库中的菌株。 尝试使用


【文件预览】:
nest-weedmaps-master
----.gitignore(186B)
----README.md(1KB)
----LICENSE(1KB)
----.eslintrc(230B)
----runAfterScraping.js(3KB)
----package.json(550B)
----index.js(5KB)

网友评论