文件名称：web-aggregation:使用javascript的网络数据聚合框架
文件大小：159KB
文件格式：ZIP
更新时间：2024-05-22 00:17:18
javascript html json select node
抓取查询 这是使用javascript的简单的Web数据聚合框架。 该框架需要将request_template和job元数据传递到lib/main.js定义的*别的API。 request_template和job元数据必须是javascript object类型。 您可以将request_template和job meta数据定义为JSON文件，将它们解析为object ，然后从lib/main.js调用scrape() 。 让我们逐一描述每个称职的人： request_template描述Web抓取逻辑。 您可以根据需要放置许多网站，以id区分。 作业描述网络抓取执行。 您可以根据需要创建许多作业，以id区分。 每个作业可以通过将它们存储在request字段中作为数组来执行request_template定义的多个request id 。 API客户端描述了lib/ma
【文件预览】：
web-aggregation-master
----input()
--------keyword1.txt(8B)
--------.directory(59B)
--------job.json(332B)
--------scripts()
--------request.json(1024B)
----index.js(0B)
----docs()
--------job.md(795B)
--------selector.md(715B)
--------command.md(913B)
--------request.md(981B)
----img()
--------schema.dia(2KB)
--------schema.dia~(2KB)
--------schema.png(23KB)
----package.json(1KB)
----test()
--------ssl()
--------tokopedia.js(397B)
--------job-manager()
--------scraper.js(356B)
--------out.txt(317KB)
--------request.js(1KB)
--------test1.js(209B)
----output()
--------cache()
--------tokopedia1.json(160KB)
--------.directory(58B)
--------tokopedia1(73KB)
--------tpd_pants.csv(38KB)
----package-lock.json(241KB)
----.directory(60B)
----examples()
--------request_template.json(2KB)
--------shoes.txt(11B)
--------tokopedia_job.json(1KB)
--------pants.txt(17B)
----.gitignore(911B)
----lib()
--------config()
--------main.js(351B)
--------modules()
----README.md(5KB)