文件名称：funcake_dags:用于漏斗蛋糕索引的气流DAG +相关工作
文件大小：82KB
文件格式：ZIP
更新时间：2024-04-27 22:24:27
dataops dpla airflow-dags Python
漏斗蛋糕DAG 这是Funnel Cake（PA数字/ DPLA数据QA接口）气流DAG（有向无环图，例如，数据处理工作流）的存储库，用于将数据索引到Solr +相关作业。 这些DAG预计将在类似于我们的构建的Airflow安装中运行。 储存库结构 该存储库具有3个主要的文件组： 气流DAG定义python文件（以_dag.py结尾）； 上面使用的Airflow DAG任务python文件（以task_ ）； 以及所需的本地开发，测试，部署和CI文件（ tests ， configs ， .travis ，Pipfile等）。 气流期望 这些漏斗蛋糕DAG成功运行的以下气流期望： 库和包 Python 3.7 Python套件：请参阅 气流变量 FUNCAKE_CONFIGSET ：SolrCloud Configset标识符，用于创建新的Funnel Cake集合和更新别名
【文件预览】：
funcake_dags-main
----.gitignore(1KB)
----Makefile(688B)
----.python-version(6B)
----LICENSE(11KB)
----Pipfile.lock(67KB)
----.gitmodules(135B)
----README.md(6KB)
----funcake_dags()
--------__init__.py(0B)
--------funcake_dev_index_dag.py(4KB)
--------template.py(11KB)
--------funcake_prod_index_dag.py(4KB)
--------scripts()
--------lib()
--------template_dag.py(2KB)
--------tasks()
----tests()
--------conftest.py(4KB)
--------template_test.py(5KB)
--------__init__.py(0B)
--------csv_to_xml_test.py(760B)
--------dag_validation_test.py(666B)
--------index_dag_test.py(5KB)
--------field_counter_test.py(16KB)
----Pipfile(322B)
----local.env(21B)
----.circleci()
--------.vault(77B)
--------config.yml(3KB)
----.pylintrc(25KB)
----variables.json(59KB)
----airflow-docker-dev-setup()