SpeedTorch:用于在Pytorch中更快固定CPU <-> GPU传输的库

时间:2024-02-24 09:11:21
【文件属性】:

文件名称:SpeedTorch:用于在Pytorch中更快固定CPU <-> GPU传输的库

文件大小:22KB

文件格式:ZIP

更新时间:2024-02-24 09:11:21

nlp machine-learning natural-language-processing gpu cuda

快速火炬 在某些情况下,更快固定CPU张量<-> GPU Pytorch variabe传递和GPU张量<-> GPU Pytorch变量传递。 更新9-29-19 由于在某些系统中,使用固定的Pytorch CPU张量比使用Cupy张量更快(请参见“工作原理”部分,以获取更多详细信息),因此我创建了通用的Pytorch张量类PytorchModelFactory和PytorchOptimizerFactory ,可以将张量设置为cuda或cpu ,如果使用cpu ,则应固定其内存。 原始的GPUPytorchModelFactory和GPUPytorchOptimizerFactory类仍在库中,因此使用SpeedTorch的现有代码不会受到影响。 文档已更新为包括这些新类。 它是什么? 该库围绕固定在CPU上的Cupy张量展开,与普通的Pytorch固定CPU张量相比,它可以实现3.1倍的CPU-> GPU传输速度,以及410倍的GPU-> CPU传输速度。 速度取决于数据量和系统上的CPU内核数量(有关更多详细信息,请参见“工作原理”部分) 该库包含嵌入训练功能; 它可以


【文件预览】:
SpeedTorch-master
----LICENSE(1KB)
----__init__.py(1B)
----SpeedTorch()
--------CPUTorchPinned.py(10KB)
--------GenTorch.py(10KB)
--------CPUCupyPinned.py(17KB)
--------__init__.py(1KB)
--------CUPYLive.py(12KB)
--------GPUTorch.py(10KB)
----requirements.txt(12B)
----setup.py(1KB)
----README.md(29KB)

网友评论