文件名称：Parallel-DataLoader-in-TensorFlow:在TensorFlow中并行加载数据以提高整个系统效率
文件大小：29KB
文件格式：ZIP
更新时间：2024-06-08 02:53:07
Python
并行TensorFlow DataLoader 这个简单的项目旨在并行加载数据（尤其是视频数据）以提高整个系统的效率。该框架如下所示： 我们派生$ K $线程来加载和解码CPU中的数据，并维护一个全局FIFO队列来存储数据。 需要一个主要任务线程在GPU中训练网络。 如果加载批处理数据的时间大于在GPU中进行训练的时间，则效率将大大提高。 仿真实验结果如下所示（加载一批数据的时间设置为1秒，一步训练的时间设置为0.2秒）： 图1：串行加载数据，CPU使用率仅为5.3％ 图2：派生10个线程来加载数据，CPU使用率接近30％，几乎是串行版本的6倍。 无花果3：分叉30个线程来加载数据 中文博客，网址为 。
【文件预览】：
Parallel-DataLoader-in-TensorFlow-master
----img()
--------p_res.png(6KB)
--------parallel_model.png(8KB)
--------p_res_2.png(7KB)
--------s_res.png(5KB)
----Train.py(3KB)
----ReadMe.md(1KB)
----__pycache__()
--------FIFOqueue.cpython-36.pyc(2KB)
----FIFOqueue.py(1KB)