文件名称：webster:适用于Node.js的可靠的高级Web爬网和抓取框架
文件大小：49KB
文件格式：ZIP
更新时间：2024-05-20 09:50:31
nodejs javascript crawler spider javascript-framework
韦伯斯特 概述 Webster是一个适用于Node.js应用程序的强大且可扩展的Web爬网框架。 您可以使用Webster爬网网站并从其页面中提取结构化数据。 与其他爬网框架不同的是，Webster可以抓取浏览器客户端javascript和ajax请求呈现的内容。 Docker快速入门 拉出示例docker镜像： docker pull zhuyingda/webster-demo docker run -it zhuyingda/webster-demo 这是用于爬网的简单演示（这是使用的演示）： node demo_producer.js env MOD=debug node demo_consumer.js 要求 Node.js 10.x +，Redis 适用于Linux，Mac OSX 或者，您可以在上进行部署。 安装 npm install webster 在Rasp
【文件预览】：
webster-master
----.eslintrc(14KB)
----Dockerfile.ci(1KB)
----.github()
--------FUNDING.yml(44B)
----Dockerfile.runtime(1KB)
----lib()
--------http.js(2KB)
--------spider.js(7KB)
--------Webster.js(889B)
--------producer.js(2KB)
--------browser()
--------task.js(2KB)
--------redis.js(5KB)
--------util.js(2KB)
--------consumer.js(8KB)
----.npmignore(717B)
----doc()
--------webster-workflow.svg(27KB)
----.travis.yml(136B)
----example()
--------demo_consumer.js(595B)
--------demo_producer.js(1KB)
----LICENSE(34KB)
----test()
--------integration()
--------puppeteer()
--------test.js(183B)
--------playwright()
--------mock()
--------task()
----README.md(4KB)
----Dockerfile.demo(1KB)
----.gitignore(902B)
----index.js(2KB)
----package.json(1KB)