【文件属性】:
文件名称:scrapito:[WIP]报废工具
文件大小:593KB
文件格式:ZIP
更新时间:2021-03-31 01:11:39
TypeScript
剪贴簿
模板化且易于使用的抓取工具。
用法
模板基础
例如,这是一个空模板。
example.yaml:
name : ExampleTemplate # Required
timeout : 3600000 # Default value (ms)
renderJS : false # Default value
maxThreads : 10 # Default value
maxRetries : 2 # Default value
version : 1 # Required, needs to be === 1
params : # TODO:
- query : !!string
- page : !!number
# Contains scraping flow
pipelines : []
流水线
每个管道代表一组一个或多个选择器。 它用于对结果进行分组。
参数
【文件预览】:
scrapito-master
----.eslintrc.js(965B)
----.babelrc(212B)
----.vscode()
--------settings.json(499B)
----packages()
--------frontend()
--------core()
--------cli()
----jsconfig.json(492B)
----tsconfig.json(321B)
----ex.scrapito.yml(506B)
----lerna.json(69B)
----README.md(4KB)
----stylelint.config.js(189B)
----.editorconfig(207B)
----tests()
--------.gitkeep(0B)
----.gitignore(19B)
----package-lock.json(826KB)
----package.json(2KB)