文件名称：aws-pdm-dataset-generation：物理数据模型生成的基础
文件大小：111KB
文件格式：ZIP
更新时间：2024-03-19 20:00:34
infrastructure aws terraform infrastructure-as-code govuk
AWS PDM数据集生成 用于PDM数据集生成的回购 重试集群故障 当PDM群集失败或成功时，它将创建一个cloudwatch事件。 群集可能由于多种原因而失败，因此，可以自动重试发生故障的群集。 PDM将其运行信息记录到具有以下结构的DynamoDB表中： Correlation_Id 数据产品 日期 Run_Id 状态 当前步骤 存在时间 Cluster_Id S3_前缀 123 PDM 2021-02-11 1个 失败的 模型 j-1SM0GDS5 path_to_data / 集群将记录类似于上述DynamoDB表的信息。 如果失败，它将启动具有目标lambda的cloudwatch事件 重试逻辑包含在该lambda以及更详细的文档中。 如果故障群集重新启动，它将跳至故障步骤并从此处继续。
【文件预览】：
aws-pdm-dataset-generation-master
----.gitmodules(91B)
----cluster_config()
--------steps.yaml.tpl(3KB)
--------configurations.yaml.tpl(2KB)
--------cluster.yaml.tpl(703B)
--------instances.yaml.tpl(2KB)
----docs()
--------overview.png(41KB)
----security_groups.tf(12KB)
----aviator_crown.yml(362B)
----emr_jobflow_role.tf(8KB)
----bootstrap_actions.tf(10KB)
----ci()
--------jobs()
--------templates()
--------resources.yml(3KB)
--------resource_types.yml(467B)
--------groups_crown.yml(116B)
--------meta.yml(13KB)
--------groups.yml(1KB)
--------resources_crown.yml(731B)
----bootstrap_actions()
--------dynamo_schema.json(277B)
--------cloudwatch.sh(9KB)
--------resume_step.sh(888B)
--------application-metrics-setup.sh(1KB)
--------with_retry.sh(66B)
--------download_scripts.sh(1KB)
--------emr-setup.sh(5KB)
--------start_ssm.sh(269B)
--------logging.sh(707B)
--------retry.sh(1KB)
--------installer.sh(871B)
--------download_sql.sh(1KB)
--------update_dynamo.sh(4KB)
--------metrics_config()
----terraform.tfvars.j2(30B)
----acm.tf(1KB)
----secrets.tf(562B)
----data.tf(2KB)
----local.tf(7KB)
----.gitignore(186B)
----steps.tf(5KB)
----cluster_config.tf(4KB)
----Makefile(944B)
----cloudwatch_events.tf(6KB)
----README.md(1KB)
----bootstrap_terraform.py(1KB)
----aviator.yml(812B)
----utils()
--------delete_dbs_tables.sh(227B)
--------row-count.sh(3KB)
----steps()
--------clean_dictionary_data.sh(3KB)
--------transform.sh(1KB)
--------create-views-tables.sh(2KB)
--------transactional.sh(1KB)
--------create-hive-dynamo-table.sh(1KB)
--------views.sh(1KB)
--------initial_transactional_load.sh(2KB)
--------metrics-setup.sh(468B)
--------export-to-s3.sh(168B)
--------source.sh(1KB)
--------create_databases.sh(857B)
--------collect-metrics.sh(2KB)
--------model.sh(2KB)
----emr-relauncher.tf(4KB)
----emr-launcher.tf(6KB)
----terraform.tf.j2(6KB)
----ebs.tf(3KB)
----emr_service_role.tf(808B)
----.githooks()
----.gitignore copy(140B)
----variables.tf(2KB)