文件名称：:crab: 在 Rust 中使用批量预测提供深度学习模型的示例
文件大小：190KB
文件格式：ZIP
更新时间：2024-07-18 12:47:21
deep-learning text-generation libtorch gpt2
rust-dl-webserver该项目提供了一个使用 Rust 为具有批量预测的深度学习模型提供服务的示例。特别是它运行来自rust-bert的 GPT2 模型以根据输入上下文生成文本。特征检测到 GPU 时使用 batchedbatched-fn进行batched-fn预测。如果服务器因请求过多而积压，则背压机制将返回 503 状态代码。运行服务器为了让服务器使用您的 GPU（如果您有可用的 GPU），您需要针对正确版本的 LibTorch C++ 库对其进行编译，您可以从https://pytorch.org/get-下载-开始/本地/ 。下载后，解压文件，然后运行服务器make run LIBTORCH=/path/to/libtorch如果您没有可用的 GPU，请运行make run现在在一个单独的终端中，您可以一次向服务器发送多个请求：curl -d' {"text":"Hello, World!"}' \ -H" Content-Type: application/json" \ http://localhost:3030/generate& cu
【文件预览】：
rust-dl-webserver-master
----.gitignore(8B)
----README.md(2KB)
----.github()
--------workflows()
--------dependabot.yml(503B)
----Cargo.toml(323B)
----src()
--------main.rs(4KB)
----img()
--------server_output.png(175KB)
----Cargo.lock(52KB)
----Makefile(2KB)