文件名称:onnx_transformers:加速的NLP管道,用于在CPU上进行快速推断。 使用Transformers和ONNX运行时构建
文件大小:140KB
文件格式:ZIP
更新时间:2024-02-24 12:34:33
nlp transformers inference onnx onnxruntime
onnx_transformers 加速的NLP管道以进行快速推理 :rocket: 在CPU上内置 :hugging_face: 变压器和ONNX运行时。 安装: pip install git+https://github.com/patil-suraj/onnx_transformers 用法: 注意:这是一个实验项目,仅在PyTorch中进行了测试 流水线API与变压器相似,只是有一些区别,下面将进行说明。 只需提供模型的路径/ URL,如果需要,它将从下载模型并自动创建onnx图并运行推理。 from onnx_transformers import pipeline # Initialize a pipelin
【文件预览】:
onnx_transformers-master
----notebooks()
--------benchmark_pipelines.ipynb(76KB)
----onnx_transformers()
--------pipelines.py(72KB)
--------__init__.py(347B)
----LICENSE(11KB)
----setup.cfg(281B)
----setup.py(2KB)
----README.md(4KB)
----Makefile(499B)
----data()
--------social_preview.jpeg(44KB)
--------feature_extraction_pipeline_benchmark.png(24KB)
--------qa_pipeline_benchmark.png(25KB)
----tests()
--------__init__.py(0B)
--------test_pipelines_onnx.py(2KB)
----.gitignore(2KB)