文件名称：anp-price-collector:ANP价格收集器
文件大小：16KB
文件格式：ZIP
更新时间：2024-05-24 11:23:32
experiment crawler scrapy-crawler not-maintained JavaScript
价格收集者 ANP价格收集器 该项目包含3个模块： collector：ANP页面中的数据收集器。 服务器：具有API访问权限的服务器 前端：AngularJS中HTML / JS内容可查询收集到的数据。 集电极： 收集器是一个nodejs脚本，它读取，解析页面并使用页面上的所有信息。 首先，搜索带有状态和燃料类型列表的主页。 对于每个州，并行搜索每种燃料的城市列表。 并针对每个城市和每种类型的燃料，搜索被调查站点的列表。 累积状态的所有数据后，它通过API发送到server 。 决定不直接将数据库访问权授予收集器，而是通过API发送，使该组件可以自主运行，例如，AWS Lambda可以每周仅消耗一次处理。 服务器： 基于HapiJS的REST API服务器，可以访问MongoDB银行。 数据模型侧重于优化查询API中的数据搜索，这种操作成本更高。 在anpdata模
【文件预览】：
anp-price-collector-master
----server()
--------.travis.yml(83B)
--------config.js(716B)
--------package.json(885B)
--------model()
--------test()
--------server.js(296B)
--------api()
--------manifest.js(748B)
--------.gitignore(30B)
--------composer.js(199B)
----collector()
--------config.js(509B)
--------utils.js(3KB)
--------index.js(8KB)
--------package.json(559B)
----.gitignore(19B)
----README.md(2KB)