文件名称：fundSpider:node编写的基金爬虫，可保存基金信息到数据库
文件大小：847KB
文件格式：ZIP
更新时间：2024-05-22 16:45:16
JavaScript
fundSpider node编写的基金爬虫，可保存基金信息到数据库 具体实现过程可在查看 启动： npm install npm run start 使用express构建本地服务，启动后得到的本地数据接口如下： 所有基金代码接口： 基金基本信息接口： 基金净值变化数据接口： 得益于以下网页接口： 所有基金代码网址： 基金档案网页地址： 基金净值变化接口： 所需要做的便是将这些地址爬取过滤并组合，构成方便自己调用的数据接口。 在批量爬取过程中，由于node的并发特性，单次可取多条基金数据；但是经过测试，一次性并发获取所有共7000多条数据时，并发量过大导致一些请求可能会得不到返回结果，故将单次的并发量控制在1000内，再测试可完整取到所有数据。 爬取的所有基金基本信息存入mongodb如下： 有了所有固定格式的基金数据，不放做个图表呈现出来看看。 使用 绘制基金的增长率变化折线，模仿蚂蚁
【文件预览】：
fundSpider-master
----img()
--------040008-2.png(180KB)
--------db_preview.png(446KB)
--------040008-1.png(151KB)
--------040008-3.png(177KB)
----package.json(347B)
----spider.js(12KB)
----.gitignore(29B)
----README.md(2KB)