文件名称:nscan:NodeJs 网页采集器
文件大小:9KB
文件格式:ZIP
更新时间:2024-06-04 08:19:03
nodejs javascript crawler JavaScript
NScan 基于 NodeJs 的网页采集器,像 Vue 一样简易配置 快速开始 数据库配置: /app/config/default.js module.exports = { mongodb: 'mongodb://' } 采集示例和配置详见: 启动采集: npm run start 里程碑 分页采集 详情页采集 静态页面采集 自动编码检测 复杂分页采集 GET 采集 POST 采集 API 采集 定时采集 采集状态持久化 采集日志 自动任务扫描 任务管理器
【文件预览】:
nscan-master
----Dockerfile(104B)
----.gitignore(65B)
----README.md(606B)
----.dockerignore(43B)
----app()
--------models()
--------index.js(199B)
--------nscan()
--------demo()
----package.json(402B)