文件名称:ml-pipeline:使用Kafka-Python来说明ML生产管道
文件大小:8.06MB
文件格式:ZIP
更新时间:2024-05-23 12:54:21
machine-learning hyperparameter-optimization lightgbm hyperopt kafka-python
将ML投入生产 此仓库包含我们希望有助于说明如何产生实时算法的代码。 随行的Medium帖子可以在和找到。 这里的代码旨在尽可能地通用(在某些限制内),并且被设计为在与下一个类似的场景中很有用。 设想 公司使用一系列服务收集数据,这些服务在用户/客户与公司网站或应用程序交互时生成事件。 随着这些交互的发生,算法需要实时运行,并且需要根据算法的输出(或预测)采取一些立即的措施。 最重要的是,在进行了N次交互(或观察)之后,由于用户将继续交互,因此需要在不停止预测服务的情况下对算法进行重新训练。 在本练习中,我们使用了数据集,其目的是根据年龄,原籍国家等来预测个人的收入是否高于/低于50k。为了使该数据集适应之前所述的情况,可以假设通过在线问卷/表格收集年龄,祖国等信息,我们需要实时预测用户的收入是高/低。 如果收入很高,那么我们会立即以一些报价致电/发送电子邮件给他们。 然后,在N次新观察
【文件预览】:
ml-pipeline-master
----trainer.py(2KB)
----.gitignore(3KB)
----images()
--------start_pipeline.gif(7.78MB)
--------pipeline_diagram.png(300KB)
--------model_retrained.png(453KB)
----requirements.txt(805B)
----predictor.py(3KB)
----sample_app.py(1KB)
----initialize.py(2KB)
----utils()
--------__init__.py(0B)
--------preprocess_data.py(2KB)
--------messages_utils.py(1KB)
--------feature_tools.py(4KB)
----notebooks()
--------.ipynb_checkpoints()
--------skopt_vs_hyperopt.ipynb(25KB)
----README.md(6KB)
----train()
--------train_hyperopt.py(5KB)
--------train_hyperparameterhunter_mlfow.py(5KB)
--------__init__.py(0B)
--------train_hyperparameterhunter.py(4KB)
--------train_hyperopt_mlflow.py(5KB)