文件名称：cache-control-spider:搜寻网站以获取Cache-Control标头
文件大小：5KB
文件格式：ZIP
更新时间：2024-06-08 18:29:18
JavaScript
缓存控制蜘蛛 搜寻网站以获取Cache-Control标头。 从HTML和CSS文件中提取URL 报告按Cache-Control标头的不同值分组的URL 安装 $ git clone git@github.com:jameslnewell/cache-control-spider.git $ npm i 用法 $ node index.js http://dev.online4.nib.com.au 原料药 方法 新的Crawler（） 创建一个新的搜寻器。 .add（网址） 添加要爬网的URL。 .use（插件） 将插件附加到搜寻器。 。开始（） 开始抓取URL。 大事记 <>开始 在搜寻器开始搜寻URL之前发出。 <>要求 TODO：在将请求发送到服务器之前发出。 url： String -URL res： Request -请求 <>响应 从服务器收到响应后发出
【文件预览】：
cache-control-spider-master
----.gitignore(28B)
----README.md(1KB)
----package.json(368B)
----index.js(1KB)
----lib()
--------crawler.js(2KB)
--------plugins()