【文件属性】：
文件名称：europarl-crawler:检索欧洲议会发布的文件
文件大小：3.3MB
文件格式：ZIP
更新时间：2021-03-20 00:39:13
elasticsearch crawler opendata union european
Europarl履带
该搜寻器搜寻欧盟议会的网站，并将结果存储在Elasticsearch中。它是由Michael Gertz博士教授指导的高级实用软件的一部分。
完整的文档位于
介绍
欧盟会不断发布文件，以记录该联盟的日常业务。这些文件的来源之一是欧洲议会，该文件在发布了所有文件。该网站具有搜索功能，但不会集中发布所有文档以进行下载。
任务
此实用程序的主要任务是：
开发文档数据和元数据模型在Elasticsearch中实施模型实施活动的Crawler或基于RSS feed的数据检索方法这应使用Python和Elasticsearch实施
开发与运营
依存关系
该项目需要运行Postgres和Elasticsearch的安装。如果在settings.ini -file中正确settings.ini了连接，则会在应用程序启动期间自动配置它们。含义表和索引是在启动期间自动创建的。因此，应使用
【文件预览】：
europarl-crawler-main
----docs()
--------general()
--------images()
--------conf.py(2KB)
--------make.bat(795B)
--------Makefile(634B)
--------index.rst(596B)
--------source()
----settings.ini(2KB)
----pytest.ini(8B)
----Pipfile(893B)
----export.ndjson(25KB)
----tests()
--------workers()
--------db()
--------conftest.py(5KB)
--------mptools()
--------rules()
----LICENSE(1KB)
----.isort.cfg(153B)
----Pipfile.lock(81KB)
----europarl()
--------workers()
--------jobs()
--------db()
--------elasticinterface.py(5KB)
--------configuration.py(425B)
--------mptools()
--------__init__.py(0B)
--------rules()
--------europarl_index.json(787B)
--------eurocli.py(6KB)
----docker-compose.yml(903B)
----setup.py(283B)
----.gitignore(2KB)
----exploration.ipynb(14KB)
----README.md(8KB)
----.pre-commit-config.yaml(962B)
----.vscode()
--------launch.json(1KB)
--------settings.json(2KB)
--------extensions.json(158B)