文件名称：无头爬虫：使用无头浏览器（Chrome）实现的爬虫
文件大小：24KB
文件格式：ZIP
更新时间：2024-02-20 23:47:16
crawler chrome spider headless puppeteer
无头爬虫 :ghost: 使用无头浏览器（Chrome）实现的搜寻器。 产品特点 使用用户提供的extractContent函数对网站进行extractContent并按照filterLink和onResult指示遵循观察到的URL。 可配置的并发。 尊重 （可配置）（请参阅 ）。 用法 import puppeteer from 'puppeteer' ; import { createHeadlessCrawler } from 'headless-crawler' ; const main = async ( ) => { const browser = puppeteer . launch ( ) ; // See Configuration documentation. const headlessCrawler = createHeadlessCrawler ( { onResult : ( resource ) => { console . log ( resource . content . title ) ; } ,
【文件预览】：
headless-crawler-master
----.README()
--------README.md(10KB)
----.eslintrc(151B)
----.flowconfig(59B)
----src()
--------Logger.js(108B)
--------index.js(443B)
--------factories()
--------types.js(4KB)
----.babelrc(337B)
----.npmignore(36B)
----.travis.yml(763B)
----LICENSE(1KB)
----test()
--------.eslintrc(102B)
--------headless-crawler()
--------helpers()
----README.md(13KB)
----.editorconfig(147B)
----.gitignore(146B)
----.eslintignore(0B)
----package.json(3KB)