文件名称:node.js实用爬虫
文件大小:1.53MB
文件格式:RAR
更新时间:2021-03-21 03:27:32
node.js 爬虫
在“node.js简单爬虫”基础上的深化版,一个实用化的爬虫,定时抓取,并存入数据库,用到更多的技术,用到的技术有: Vue.js: 前端页面展示。 Axios: vue官方推荐HTTP库,请求后端数据。 阿里巴巴的矢量图标库Iconfont: 页面图标,个人项目中使用起来比较方便。 Node.js + Koa2: 后台服务器搭架,(Koa2需要node v7.6以上)。 ES6/ES7: 后台开发以ES6语法为主,并使用了ES7中的async/await。 Gulp: 后台服务器使用,自动化构建工具。 Webpack: Vue-cli自带的。需要配置本地代理proxyTable,以及配置SCSS的相关loader。 MySQL: 数据保存。 superagent: 比Node.js原生http模块更好用的客户端请求代理模块。 cheerio:服务端jQuery,分析网页内容。 node-schedule: Node.js定时执行模块。