文件名称:Node.js-spider-pictures:Node 批量抓取并下载站点图片
文件大小:6KB
文件格式:ZIP
更新时间:2024-06-18 16:17:36
JavaScript
Node.js-spider-pictures Node.js 批量抓取并下载站点图片和文章信息并保存在本地 目标网站: 项目功能:批量下载该网站精美的轮播图和文章列表标题内容 一、启动项目 网速慢的话推荐用 cnpm 安装依赖 命令: npm i npm start 二、配置文件 // 配置相关 module.exports = { originPath: 'xxx', // 请求地址 savePath: 'xxx' // 默认配置的存放路径,根据需要去修改 } 三、用到的主要模块 模块 作用 axios 获取页面数据 cheerio 操作 DOM 节点获取图片和图片名 Stream 创建读/写的数据流对象通过管道连接下载图片 writeFile 异步地将数据写入到一个文件,如果文件已存在则覆盖该文件 axios 相关代码: // 获取页面数据 async getPage (ur
【文件预览】:
Node.js-spider-pictures-master
----src()
--------methods.js(3KB)
--------config.js(294B)
--------app.js(1KB)
----README.md(2KB)
----.gitignore(15B)
----index.js(994B)
----package.json(378B)