文件名称：适用于Node.js的可靠的高级Web爬网和抓取框架。-Node.js开发
文件大小：49KB
文件格式：ZIP
更新时间：2024-06-16 03:52:50
Node.js HTTP
Webster概述Webster是使用Node.js编写的可靠的Web爬网和爬网框架，用于爬网网站并从其页面中提取结构化数据。 Webster概述Webster概述Webster是用Node.js编写的可靠的Web爬行和抓取框架，用于抓取网站并从其页面中提取结构化数据。 与其他爬网框架不同的是，Webster可以抓取浏览器客户端javascript和ajax请求呈现的内容。 Docker快速入门提取示例Docker镜像：docker pull zhuyingda / webster-demo docker run -it zhuyingda / webster-demo这是有关Baid的抓取工具的简单演示
【文件预览】：
webster-master
----.gitignore(902B)
----.eslintrc(14KB)
----package.json(1KB)
----.travis.yml(136B)
----LICENSE(34KB)
----doc()
--------webster-workflow.svg(27KB)
----index.js(2KB)
----.github()
--------FUNDING.yml(44B)
----README.md(4KB)
----Dockerfile.ci(1KB)
----Dockerfile.runtime(1KB)
----example()
--------demo_consumer.js(595B)
--------demo_producer.js(1KB)
----Dockerfile.demo(1KB)
----lib()
--------consumer.js(8KB)
--------util.js(2KB)
--------redis.js(5KB)
--------spider.js(7KB)
--------http.js(2KB)
--------Webster.js(889B)
--------browser()
--------task.js(2KB)
--------producer.js(2KB)
----.npmignore(717B)
----test()
--------mock()
--------integration()
--------test.js(183B)
--------playwright()
--------task()
--------puppeteer()