使用DALI实现的PyTorch DataLoader可以加速图像预处理-Python开发

时间:2024-06-14 11:08:45
【文件属性】:

文件名称:使用DALI实现的PyTorch DataLoader可以加速图像预处理-Python开发

文件大小:6KB

文件格式:ZIP

更新时间:2024-06-14 11:08:45

Python Deep Learning

带有DALI的PyTorch数据加载器通过nvidia-dali实现的PyTorch数据加载器,我们已经实现了CIFAR-10和ImageNet数据加载器,将来还会添加更多的数据加载器。 借助2个Intel:registered:Xeon:registered:Gold 6154 C PyTorch DataLoader处理器和通过nvidia-dali实现的DALI PyTorch DataLoader处理器,我们已经实现了CIFAR-10和ImageNet数据加载器,将来还会增加更多的数据加载器。 借助2个Intel:registered:Xeon:registered:Gold 6154 CPU处理器,1个Tesla V100 GPU和内存磁盘中的所有数据集,我们可以使用DALI极大地加速图像预处理。 Iter培训数据成本(bs = 256)CIFAR-10 ImageNet DALI 1.4s(2个处理器)625s(8个处理器)火炬视觉280.1s(2个处理器)13400s(8个处理器)I


【文件预览】:
DataLoaders_DALI-master
----.gitignore(72B)
----base.py(1KB)
----README.md(3KB)
----cifar10.py(9KB)
----imagenet.py(7KB)

网友评论