文件名称：scraper-js：这是我自己需要的网络抓取工具。 由于它没有任何硬编码，请随时使用。 只需按照README说明进行操作
文件大小：45KB
文件格式：ZIP
更新时间：2024-03-04 09:08:06
JavaScript
自用刮板 随意使用它。 根据您的喜好复制./schemas/sample.json 。 在.env中包括指向文件的链接。 每个刮擦请求的超时时间是为每个刮擦指定的crontab时间之间的时间差的75％。 ./schemas/sample.json属性： 选择器= HTML选择器查询数组 如果每个选择器都有一个值数组，则为double =。 如果为true->全部获取，否则仅获取第一个 cron = cronjob语法何时运行刮擦。 links =顺序抓取的链接数组。 名称/网址对。 编写结果： 可以将值写入文件，REST api和MongoDB插入。 您可以使用所有3种方法。 要写入文件，只需在.env文件中包含文件名作为属性FILE_DEST 。 考虑不使用此方法，或者制作自己的文件格式，因为它仅用于当前测试。 要写入POST API请求： 将.env中的其余端点（对于H
【文件预览】：
scraper-js-master
----package.json(525B)
----.sample.env(619B)
----test()
--------server()
----package-lock.json(61KB)
----schemas()
--------sample.mongo.json(248B)
--------sample.json(453B)
----ROADMAP.md(754B)
----src()
--------index.js(3KB)
--------writers()
--------writer.js(3KB)
--------error()
--------util()
----.gitignore(42B)
----README.md(2KB)