文件名称：S3dataMigration
文件大小：44KB
文件格式：ZIP
更新时间：2024-05-06 09:56:05
JavaScript
SRE测试解决方案 发展总结 此开发采用了分离的体系结构。 因此，如果该过程被中断，它将能够从停止的任何地方恢复。 它由3个主要部分组成； 用Node.js编写的生产者作业，可将作业推送到队列中。 包含所有待处理作业的队列。 用于此任务的队列基于Redis ，因此该任务使用Redis容器。 消费者作业从此队列中提取作业并进行处理。 任务的资源仿真 为了正确模拟此任务的资源，将MariaDB docker容器用作生产数据库，模拟此任务所需的所有脚本均存储在task-Emulation文件夹中。 以下程序用于准备模拟使用的资源。 createSampleDBTable.js如果尚无2列，则此Nodejs程序将创建一个示例表。 自动生成的ID列和legacy图像名称的另一列。 jobWorker.js这个nodejs程序将示例作业推送到Redis队列中，以模拟多达1000万个要处理的
【文件预览】：
S3dataMigration-master
----taskEmulation()
--------createSampleDBTable.js(1KB)
--------jobProducer.js(980B)
--------countJobs.js(757B)
--------.npmignore(13B)
--------jobWorker.js(843B)
--------flushQueue.js(574B)
--------package-lock.json(24KB)
--------package.json(709B)
--------pushDummyS3objectsforTest.js(1KB)
----application-Containerization()
--------.dockerignore(72B)
--------Dockerfile(354B)
--------s3JobProducer.js(11KB)
--------.npmignore(13B)
--------s3JobConsumer.js(8KB)
--------docker-compose.yaml(1KB)
--------package-lock.json(24KB)
--------package.json(709B)
----lambdatask.zip(1KB)
----README.md(8KB)
----terraform-Deployment-Files()
--------IAM-roles-and-policies.tf(2KB)
--------provider.tf(94B)
--------terraform.tfvars(2KB)
--------AWS-ECS-Services.tf(1KB)
--------variables.tf(615B)
--------Service-discovery.tf(526B)
--------s3producer-def.json(3KB)
--------Security-groups.tf(2KB)
--------s3JobConsumer-def.json(2KB)
--------Networking.tf(573B)
--------main.tf(4KB)
--------ECS-task-definition.tf(2KB)
--------EFS-creation.tf(1KB)
----.gitignore(349B)