文件名称：serve:PyTorch 上的模型服务
文件大小：23.83MB
文件格式：ZIP
更新时间：2024-08-23 18:12:17
Java
火炬服务 TorchServe 是一种灵活且易于使用的工具，用于为 PyTorch 模型提供服务。 有关完整文档，请参阅。 火炬服务架构 术语： 前端：TorchServe 的请求/响应处理组件。 服务组件的这部分处理来自客户端的请求/响应并管理模型的生命周期。 Model Workers ：这些工作人员负责对模型进行实际推理。 模型：模型可以是script_module （JIT 保存的模型）或eager_mode_models 。 这些模型可以提供自定义的数据预处理和后处理以及任何其他模型工件，例如 state_dicts。 模型可以从云存储或本地主机加载。 插件：这些是自定义端点或 authz/authn 或批处理算法，可以在启动时放入 TorchServe。 模型存储：这是一个包含所有可加载模型的目录。 本文件的内容 安装 TorchServe 和 torch-mode