DeepSpeedExamples:使用 DeepSpeed 的示例模型

时间:2024-08-24 17:03:22
【文件属性】:

文件名称:DeepSpeedExamples:使用 DeepSpeed 的示例模型

文件大小:9.57MB

文件格式:ZIP

更新时间:2024-08-24 17:03:22

Python

深速 此存储库包含使用示例模型。 关于威震天示例的说明 Megatron-LM :这是 Megatron-LM 的一个相当古老的快照,我们一直在使用它来展示 DeepSpeed 的早期功能。 这不包含 ZeRO-3 或 3D 并行性。 Megatron-LM-v1.1.5-3D_parallelism:这是一个相对较新的 Megatron(2020 年 10 月),但在 Megatron 开始支持 3D 并行之前。 我们移植了这个版本来展示如何在 DeepSpeed 中使用 Megatron 中的 3D 并行性。 Megatron-LM-v1.1.5-ZeRO3:Megatron 底层版本与 3D_parallelism 相同,但不包含 3D 并行端口。 然而,它包含 DeepSpeed 的最新进展,包括 ZeRO-3、ZeRO-3 Offload 和 ZeRO-Infinity。 我


网友评论