文件名称：TensorFlow Serving是一款用于为机器学习模型提供灵活、高性能服务的系统-python
文件大小：4.86MB
文件格式：ZIP
更新时间：2024-07-08 12:02:58
机器学习
TensorFlow Serving是一款用于为机器学习模型提供灵活、高性能服务的系统 TensorFlow Serving TensorFlow Serving 是一个开源软件库，用于为机器学习模型提供服务。 它处理机器学习的推理方面，在训练后获取模型并管理其生命周期，通过高性能、引用计数查找表为客户提供版本化访问。 可以同时提供多个模型，甚至同一模型的多个版本。 这种灵活性有助于金丝雀新版本、非原子地将客户端迁移到新模型或版本以及 A/B 测试实验模型。 主要用例是高性能生产服务，但相同的服务基础设施也可用于批量处理（例如 map-reduce）作业，以预计算推理结果或分析模型性能。 在这两种情况下，GPU 都可以显着提高推理吞吐量。 TensorFlow Serving 带有一个调度程序，可将单个推理请求分组为批处理，以便在 GPU 上联合执行，并具有可配置的延迟控制。 TensorFlow Serving 对 TensorFlow 模型提供开箱即用的支持（自然），但其核心是管理任意版本的项目（可服务），并传递到其原生 API。 除了经过训练的 TensorFlo