文件名称：Crawler-Web-Nodejs:用nodeJS和MongoDB编写的Web爬网程序
文件大小：7.9MB
文件格式：ZIP
更新时间：2024-06-10 06:28:10
JavaScript
CrawlerNodeJS 用NodeJS编写的Web爬网程序 ###什么是CrawlerNodeJS CrawlerNodeJS是一个用NodeJS编写的Web搜寻器，它输入一个或多个URL种子，一个或多个关键字，扫描种子和其他已建立的URL。 CrawlerNodeJS将在MongoDb数据库中建立的每个URL保存起来，对于在页面转义期间建立的每个关键字将其保存到文件中。 是否有可能将所有文件保存到“文件”目录中。 CrawlerNodeJS使用Async.queue处理每个请求。 我使用这种方法来避免递归！ ###安装和配置下载并安装NodeJS和MongoDB并获得支持后，请下载此源代码并开始在终端中使用“ node server.js”命令。 服务器在端口8081上运行。 ###如何开始启动CrawlerNodeJS非常简单。 打开您的终端或浏览器。 终端案例： c