文件名称：scraper:用NodeJS实现的简单Web抓取工具
文件大小：7KB
文件格式：ZIP
更新时间：2024-05-18 16:12:12
JavaScript
在这个基本的应用程序中，我尝试显示以下内容： 使用nodejs及其模块进行网络抓取是多么容易。 如何使用Cheerio（一个js模块）遍历html文件。 使用expressJS路由如何超级简单。 以及某种程度的代码结构：用于db的db，用于路由的路由和用于所有scrape的scrape。 这有助于保持思路清晰，使代码也易于维护。 良心规则： 在快速介绍如何运行此基本应用程序并可能对其进行扩展之前，请注意以下几点： 请注意，漫不经心的Web抓取可能会导致对目标站点的DoS攻击。 另外，请注意如何使用不违反版权法的报废内容。 最后，刮擦对上帝的敬畏。 “不要对他人的网站/内容做您不希望他人对您的做的事情”。 前提条件： 您应该安装了nodeJS和mongodb。 不知道该怎么做？ 访问链接： : : 。 对于其他操作系统，您还可以在这些链接中找到所需的信息。 请注意，
【文件预览】：
scraper-master
----.gitignore(638B)
----routes()
--------data.js(363B)
--------scrape.js(348B)
--------index.js(153B)
----db()
--------index.js(56B)
--------localMongoDb.js(553B)
----scrape()
--------headline.txt(0B)
--------dailys.js(328B)
--------scrape.js(446B)
--------index.js(321B)
--------DOMGetter.js(2KB)
----app.js(576B)
----Readme.md(2KB)
----package.json(470B)