deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住

时间:2024-03-16 07:30:42

错误展示:

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

 

错误表现:

出现在多卡训练过程的pytorch 扩展,deepspeed 长时间卡住(1-2小时)

 PyTorch extensions 初次构建需要一定的时间,如果构建失败需要将之前构建的缓存删除,否则就有可能卡住较长的时间

# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录,需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions

重新运行训练脚本,程序work