文件名称：lesa-crawler:用于LESA的基于Scrapy的Web爬网程序
文件大小：454KB
文件格式：ZIP
更新时间：2024-06-06 23:11:49
Python
LESA履带式 一个Web搜寻器，在Docker容器化应用程序架构之上使用Elasticsearch，Kibana，Scrapy框架和Splash javascript呈现服务，该架构旨在从LESA票证中检索数据。 入门 由于当前的LESA不提供任何类型的REST API来从票证中检索数据，因此我已经开始开发一个Web搜寻器，该Web搜寻器通过Xpath查询来获取数据。 检索到的所有数据都存储在Elasticsearch索引中，可以通过Kibana对其进行可视化。 先决条件 要运行此应用，您需要安装： Docker（版本17.09.0+） docker-compose（版本1.16.1+） 配置 克隆此项目。 用您的LESA屏幕名称和时区替换SCREEN_NAME和TIME_ZONE值： # lesa-crawler/crawler/lesaticket/custom_settin
【文件预览】：
lesa-crawler-master
----kibana()
--------config()
--------data()
----splash()
--------cron-file(543B)
--------Dockerfile(716B)
--------supervisord.conf(2KB)
----README.md(4KB)
----scrapyd()
--------cron-file(505B)
--------Dockerfile(739B)
--------supervisord.conf(2KB)
----screenshots()
--------dashboard_4.png(90KB)
--------dashboard_1.png(120KB)
--------dashboard_2.png(145KB)
--------dashboard_3.png(124KB)
----crawler()
--------scrapy.cfg(263B)
--------lesaticket()
----docker-compose.yml(1KB)
----clean_all.sh(284B)
----export.json(9KB)
----.gitignore(102B)
----elasticsearch()
--------config()
--------data()