Node.js-基于HeadlessChrome开发分布式爬虫

时间:2022-08-29 09:46:35
【文件属性】:

文件名称:Node.js-基于HeadlessChrome开发分布式爬虫

文件大小:100KB

文件格式:ZIP

更新时间:2022-08-29 09:46:35

Node.js开发-HTTP工具

基于Headless Chrome开发分布式爬虫,Distributed crawler powered by Headless Chrome


【文件预览】:
yujiosaka-headless-chrome-crawler-c16aa6d
----.gitignore(91B)
----Dockerfile(1KB)
----package.json(2KB)
----commitlint.config.js(70B)
----exporter()
--------json-line.js(560B)
--------csv.js(1KB)
--------base.js(964B)
----LICENSE(1KB)
----index.js(45B)
----tsconfig.json(172B)
----examples()
--------pause-resume.js(568B)
--------custom-crawl.js(932B)
--------redis-cache.js(1KB)
--------custom-exporter.js(861B)
--------conditional-screenshot.js(856B)
--------.eslintrc.js(182B)
--------override-function.js(508B)
--------priority-queue.js(479B)
--------emulate-device.js(546B)
--------custom-cache.js(2KB)
--------csv-exporter.js(474B)
--------multiple-queue.js(548B)
----.eslintrc.js(323B)
----cache()
--------redis.js(4KB)
--------session.js(2KB)
--------.eslintrc.js(97B)
--------base.js(1KB)
----README.md(6KB)
----lib()
--------hccrawler.js(17KB)
--------crawler.js(7KB)
--------puppeteer.d.ts(155B)
--------types()
--------priority-queue.js(2KB)
--------helper.js(5KB)
--------async-events.js(404B)
----.circleci()
--------config.yml(538B)
----tmp()
--------.gitkeep(0B)
----docs()
--------ISSUE_TEMPLATE.md(321B)
--------CONTRIBUTING.md(1KB)
--------CODE_OF_CONDUCT.md(3KB)
--------CHANGELOG.md(10KB)
--------TIPS.md(3KB)
--------API.md(24KB)
----test()
--------priority-queue()
--------server()
--------async-events.test.js(2KB)
--------hccrawler()
--------.eslintrc.js(198B)
--------cache()
--------exporter.test.js(10KB)
--------helper.test.js(13KB)
----.editorconfig(182B)
----yarn.lock(148KB)

网友评论