文件名称：WebSpider:基于Nodejs,superagent,cheerio的在线web爬虫项目，支持生成API
文件大小：48KB
文件格式：ZIP
更新时间：2024-05-30 01:01:23
nodejs crawler spider cheerio superagent
WebSpider 基于 NodeJS 的在线爬虫系统。支持提供在线数据 API。 1、当你想在自己的网站添加一个小的新闻模块时，你可以利用 WebSpider 爬虫爬取指定网站的数据，然后在后端或者前端请求数据接口，再将获得的数据构造到你的网页上。 2、当你想做个聚合网站或者聚合 app 时，你可以利用 WebSpider 爬取各大站点的数据，然后调用 API，构造数据到自己的 APP 中。 ... 由此，WebSpider 诞生了。 内容目录 代理模式 结果预览 生成 API 更新间隔 标签 开放权限 描述信息 数据接口调用示例 示例配置参考 更新日志 注意 TODO 协议 特性 *简单、方便。只要掌握简单的网页知识，即可利用 WebSpider 在线爬虫系统，进行简单的配置之后，可进行数据抓取预览。 *功能强大。支持抓取预览，定制输出，生成 API，API 管理，查看分享，登录注册等
【文件预览】：
WebSpider-main
----docs()
--------proxy.md(2KB)
--------router.md(3KB)
--------issues.md(3KB)
--------env.md(957B)
--------panel.md(1KB)
--------history.md(2KB)
--------guide.md(7KB)
----package.json(1023B)
----.eslintrc.json(29B)
----test()
--------utils.test.js(2KB)
--------crawl.test.js(360B)
----LICENSE(1KB)
----package-lock.json(62KB)
----static()
--------index.html(418B)
--------favicon.ico(4KB)
----src()
--------config()
--------index.js(1KB)
--------data()
--------crawl()
--------utils()
--------router()
----.gitignore(1KB)
----app.js(155B)
----README.md(14KB)