错误展示:
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
错误表现:
出现在多卡训练过程的pytorch 扩展,deepspeed 长时间卡住(1-2小时)
PyTorch extensions 初次构建需要一定的时间,如果构建失败需要将之前构建的缓存删除,否则就有可能卡住较长的时间
# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录,需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions
重新运行训练脚本,程序work