具有各种原语的集体通信库,用于多机培训。-C/C++开发

时间:2024-06-15 16:06:23
【文件属性】:

文件名称:具有各种原语的集体通信库,用于多机培训。-C/C++开发

文件大小:375KB

文件格式:ZIP

更新时间:2024-06-15 16:06:23

C/C++ Machine Learning

Gloo Gloo是一个集体通信库。 它带有许多对机器学习应用有用的集合算法。 这些包括屏障,广播和减少。 参与方之间的数据传输Gloo Gloo是一个集体通信库。 它带有许多对机器学习应用有用的集合算法。 这些包括屏障,广播和减少。 参与机器之间的数据传输是抽象的,因此可以随时使用IP,如果可用,则可以使用InifiniBand(或RoCE)。 在后一种情况下,如果使用InfiniBand传输,则可以使用GPUDirect来加速跨机器的GPU到GPU的内存传输。 在适用的情况下,算法


网友评论