文件名称：服务：用于机器学习模型的灵活，高性能的服务系统
文件大小：4.79MB
文件格式：ZIP
更新时间：2024-02-20 08:08:24
python machine-learning deep-neural-networks deep-learning neural-network
TensorFlow服务 TensorFlow Serving是一个针对机器学习模型的灵活，高性能的服务系统，专为生产环境而设计。 它处理机器学习的推理方面，在训练和管理生命周期之后进行建模，并通过高性能的参考计数查找表为客户提供版本化的访问。 TensorFlow Serving提供与TensorFlow模型的现成集成，但可以轻松扩展以服务于其他类型的模型和数据。 要注意一些功能： 可以同时服务多个模型或相同模型的多个版本 公开gRPC和HTTP推断端点 允许部署新模型版本，而无需更改任何客户端代码 支持Canarying新版本和A / B测试实验模型 高效，低开销的实施，可将推理时间的延迟降至最低 具有一个调度程序，该调度程序将各个推理请求分为几批，以便在GPU上联合执行，并具有可配置的延迟控制 支持多种servables：Tensorflow模型，嵌入物，词汇，功能的转换和基于非Tensorflow，即使机器学习模型 在60秒内为Tensorflow模型提供服务 # Download the TensorFlow Serving Docker image and repo