文件名称:训练和使用具有多GPU,TPU,混合精度的NLP模型的简单方法-Python开发
文件大小:265KB
文件格式:ZIP
更新时间:2024-06-14 08:30:02
Python Deep Learning
ele Accelerate是为喜欢编写PyTorch模型的训练循环但不愿编写和维护使用多GPU / TPU / fp16所需的锅炉代码的PyTorch用户创建的。 在任何类型的设备上运行您的* raw * PyTorch培训脚本易于集成:hugging_face:Accelerate是为PyTorch用户创建的,他们喜欢编写PyTorch模型的训练循环,但不愿意编写和维护使用多GPU / TPU / FP16。 exactly准确加速摘要,仅加速与多GPU / TPU / fp16相关的锅炉代码,并使其余代码保持不变。 这是一个示例:具有Accelerate(CPU / G)的原始训练代码(仅CPU或Mono-GPU)