文件名称：ucla-web-scraper:Node.js 中的网络抓取工具，用于抓取 UCLA 课程表
文件大小：7KB
文件格式：ZIP
更新时间：2024-07-20 05:32:56
JavaScript
加州大学洛杉矶分校网络爬虫课程时间表 概念验证网络抓取工具，它使用 Node.js 和 request 和cheerio 库从加州大学洛杉矶分校的课程表中抓取数据并将数据存储在 mongodb 中。 数据不用于商业用途。 安装使用 要求：mongodb 测试：Ubuntu 12.04 首先克隆存储库 git clone https://github.com/DarinM223/ucla-web-scraper.git 然后在项目的根目录下输入： npm install 安装依赖项。 要运行服务器，请输入： node main.js 现在，在添加完所有课程后，它将挂起，您必须按 Ctrl-C 来结束该过程。 在加州大学洛杉矶分校的网络连接上的 i5 处理器上运行刮刀大约需要 3-4 分钟:)。 因为它使用集群库来有效地使用所有内核，所以具有更多内核的处理器会更快。 现在它只存
【文件预览】：
ucla-web-scraper-master
----.flowconfig(20B)
----main.js(5KB)
----test()
--------test-utilities.js(6KB)
----README.md(1KB)
----utilities.js(1KB)
----scraper.js(5KB)
----package.json(400B)