训练和使用具有多GPU,TPU,混合精度的NLP模型的简单方法-Python开发

时间:2024-06-14 08:30:02
【文件属性】:

文件名称:训练和使用具有多GPU,TPU,混合精度的NLP模型的简单方法-Python开发

文件大小:265KB

文件格式:ZIP

更新时间:2024-06-14 08:30:02

Python Deep Learning

ele Accelerate是为喜欢编写PyTorch模型的训练循环但不愿编写和维护使用多GPU / TPU / fp16所需的锅炉代码的PyTorch用户创建的。 在任何类型的设备上运行您的* raw * PyTorch培训脚本易于集成:hugging_face:Accelerate是为PyTorch用户创建的,他们喜欢编写PyTorch模型的训练循环,但不愿意编写和维护使用多GPU / TPU / FP16。 exactly准确加速摘要,仅加速与多GPU / TPU / fp16相关的锅炉代码,并使其余代码保持不变。 这是一个示例:具有Accelerate(CPU / G)的原始训练代码(仅CPU或Mono-GPU)


网友评论