Serasa_MLE_Challenge

【文件属性】：
文件名称：Serasa_MLE_Challenge
文件大小：1.49MB
文件格式：ZIP
更新时间：2021-04-12 15:02:26
JupyterNotebook ML工程师挑战 此存储库包含我开发的服务体系结构，以使ML周期中从实验到部署的每个流程自动化。 该系统的主要功能是： 自动化机器学习实验和不同模型的训练，为提交的每个训练作业动态构建和执行ML训练管道，其中每个实验管道均由非常简单的json消息定义。 除此之外，这是通过使用AMQP协议的微服务完成的，这意味着多个作业可以立即发送到运行这些工作程序的集群，并且这些任务将排队等待随着资源可用而执行。 最重要的是，将使用mlflow的模型跟踪服务器完整记录该工作人员执行的每个实验，并且还可以使用mlflow的模型注册表将实验结果“提升”为生产。 的服务模型 批处理预测：通过使用AMQP协议，可以对任何大小的数据进行预测，因为负责推理的工作人员可以在水平和垂直方向上进行缩放。 使用mlflow，也可以通过spark udfs进行模型预测，从而提高更多的推理性能。 在线预测：使用FastAP

【文件预览】：
Serasa_MLE_Challenge-main
----.gitignore(2KB)
----images()
--------fastapi.png(71KB)
--------s3.png(47KB)
--------registry.png(53KB)
--------rabbit.png(42KB)
--------model.png(42KB)
--------ecr.png(65KB)
--------mlpic.jpg(61KB)
--------arquitecture.png(167KB)
--------experiments.png(189KB)
--------pycaret.png(111KB)
----debug.ipynb(29KB)
----.github()
--------workflows()
----README.md(9KB)
----ml_app()
--------inference_worker()
--------docker-compose.yml(4KB)
--------pipeline_worker()
--------ml_server()
--------mlflow_server()
----example.env(408B)
----EDA()
--------EDA.ipynb(1.04MB)