基于4Bit编码的深度学习梯度数据压缩算法

【文件属性】：
文件名称：基于4Bit编码的深度学习梯度数据压缩算法
文件大小：2.68MB
文件格式：PDF
更新时间：2021-07-07 11:12:28
深度学习编码算法 对梯度数据进行压缩，是一种减少多机间通信开销的有效方法，如 MXNET系统中的2Bit方法等。但这类方法存在个突出的问题，即过高的压缩比会导致精度及收敛速度下降，尤其是对规模较大的深度神经网络模型。针对上述问题，提岀了种新的4Bit梯度压缩策略。该方法采用4个比特位表示一个具体的梯度值（通常为32位的浮点数）。相对于2Bit，该方法能够对梯度值进行更细粒度的近似，从而提高训练结果的准确率和收敛性。进一步地，根据网络模型毎一层梯度特性的不冋，选择不同的近似阈值，使得压缩后的数值更合理，从而进一步加快模型的收敛速度并提髙最终准确率;具体地，兼顾操作的方便性和分布的合理性，根据每层梯度特性的不同，设置3组不同的阈值，以满足不冋层梯度差异化特性的需求。实验结果表明，使用多组阈值的4Bit梯度压缩策略虽然在加速方面略逊于2Bi方法，但其准确率更高，实用性更强，能够在保持模型更高精度的前提下减少分布式深度学习系统的通信开销，这对于在资源受限环境下实现性能更妤的深度学习模型非常有意义。