【文件属性】:
文件名称:anp-price-collector:ANP价格收集器
文件大小:16KB
文件格式:ZIP
更新时间:2021-05-04 17:36:52
experiment crawler scrapy-crawler not-maintained JavaScript
价格收集者
ANP价格收集器
该项目包含3个模块:
collector:ANP页面中的数据收集器。
服务器:具有API访问权限的服务器
前端:AngularJS中HTML / JS内容可查询收集到的数据。
集电极:
收集器是一个nodejs脚本,它读取,解析页面并使用页面上的所有信息。
首先,搜索带有状态和燃料类型列表的主页。
对于每个州,并行搜索每种燃料的城市列表。 并针对每个城市和每种类型的燃料,搜索被调查站点的列表。
累积状态的所有数据后,它通过API发送到server 。
决定不直接将数据库访问权授予收集器,而是通过API发送,使该组件可以自主运行,例如,AWS Lambda可以每周仅消耗一次处理。
服务器:
基于HapiJS的REST API服务器,可以访问MongoDB银行。
数据模型侧重于优化查询API中的数据搜索,这种操作成本更高。 在anpdata模
【文件预览】:
anp-price-collector-master
----server()
--------.travis.yml(83B)
--------config.js(716B)
--------package.json(885B)
--------model()
--------test()
--------server.js(296B)
--------api()
--------manifest.js(748B)
--------.gitignore(30B)
--------composer.js(199B)
----collector()
--------config.js(509B)
--------utils.js(3KB)
--------index.js(8KB)
--------package.json(559B)
----.gitignore(19B)
----README.md(2KB)