 要应用GPUDirect RDMA技术，首先要有足够的硬件支持。包括infiniband的HCA卡（Mellanox ConnectX-3及以后产品），GPU卡（K20及以后产品）。
其次，除了应用GPU必备的Nvidia Driver、Nvidia CUDA toolkit，应用infiniband必备的MLNX_OFED驱动外，还要额外安装一个plug module to enable GPUDirect RMDA组件。
具体可参见附件中Mellanox的manual，内有驱动下载地址以及安装示例。
在此,对一些安装细节做一些说明（以CentOS 6.5+openMPI为例）：1、 linux系统内核查询指令： uname –a2、 CentOS版本号: cat /etc/redhat-release3、 HCA卡型号： lspci |grep mellanox –i4、 现有infiniband驱动： ofed_info|head -15、 Cuda版本： nvcc -V6、 Nvidia_peer包安装： 先安装rpm-build包----------yum install rpm-build;下载nvidia_perr_memory安装包并解压;进入解压后的目录，运行rpmbuild –rebuild nvidia_peer_memory-1.0-0.src.rpm;cd ~/rpmbuild/RPMS/x86_64;rpm –ivh nvidia_peer_memory-1.0-0.x86_64.rpm;运行lsmod |grep nv_peer_mem检查是否安装成功运行server nv_peer_mem start 开启模块
7、openMPI-1.8.1安装： 下载并解压openmpi-1.8.1或以后版本；
以如下编译选项安装：./configure –prefix=要安装的目录–with-openib –with-cuda=cuda所在目录–with-cuda-include=cuda所在目录/include–with-cuda-libpath=cuda所在目录/lib64–enable-oreerun-prefix-by-default –disable-io-romio –enable-pickyMake;make install
至此，软件安装已完成。软件实例代码以及编译选项见附件。运行时请使用 mpirun –app appfile形式。appfile文件写法如下：-H 第一台机器的IB_INTERFACE -np 1–mca btl openib,self,sm ./b.out-H 第二台机器的IB_INTERFACE -np 1–mca btl openib,self,sm ./b.out
测试结果见附件。测试中第一列是以K为单位的数据量，第二行为RMDA方法的时间，第三行为传统方法的时间。
|
楼主
发表于 2015-7-13 21:06:28|只看该作者
