nccl:针对集体多GPU通信的优化原语

时间:2024-05-19 07:03:17
【文件属性】:

文件名称:nccl:针对集体多GPU通信的优化原语

文件大小:277KB

文件格式:ZIP

更新时间:2024-05-19 07:03:17

C++

NCCL GPU间通信的优化原语。 介绍 NCCL(发音为“镍”)是用于GPU的标准通信例程的独立库,可实现全缩减,全收集,缩减,广播,缩减分散以及任何基于发送/接收的通讯模式。 它已经过优化,可以在使用PCIe,NVLink,NVswitch的平台以及使用InfiniBand Verbs或TCP / IP套接字的网络上实现高带宽。 NCCL支持在单个节点或多个节点中安装的任意数量的GPU,并且可以在单进程或多进程(例如MPI)应用程序中使用。 有关NCCL使用的更多信息,请参阅。 建造 注意:可以从以下下载NCCL的官方版本和经过测试的版本: : 。 如果选择使用正式版本,则可以跳过以下构建步骤。 要构建库: $ cd nccl $ make -j src.build 如果未在默认的/ usr / local / cuda路径中安装CUDA,则可以使用以下命令定义CUDA路


网友评论