文件名称：fastmoe:PyTorch的快速MoE提示
文件大小：396KB
文件格式：ZIP
更新时间：2024-03-27 04:26:45
Python
|| 介绍 一个易于使用且高效的系统，可支持PyTorch的专家混合（MoE）模型。 安装 先决条件 带有CUDA的PyTorch是必需的。 该存储库目前已通过PyTorch v1.8.0和CUDA 10进行了测试，并具有对较早版本的设计兼容性。 如果启用了分布式专家功能，则需要具有P2P通信支持的NCCL，通常版本>=2.7.5 。 正在安装 FastMoE包含一组PyTorch定制的运算符，包括C和Python组件。 使用python setup.py install可以轻松安装并享受使用FastMoE进行培训的乐趣。 分布式专家功能默认情况下处于禁用状态。 如果要启用它， USE_NCCL=1环境变量USE_NCCL=1传递给安装脚本。 请注意，需要一个额外的NCCL开发人员程序包，该程序包必须与您的PyTorch的NCCL版本一致，可以通过运行torch.cuda.nccl.
【文件预览】：
fastmoe-master
----fmoe()
--------functions.py(7KB)
--------utils.py(1017B)
--------megatron.py(7KB)
--------__init__.py(190B)
--------layers.py(8KB)
--------gates.py(2KB)
--------transformer.py(2KB)
--------distributed.py(4KB)
----cuda()
--------helper_cuda.h(15KB)
--------cuda_stream_manager.h(869B)
--------moe.cpp(5KB)
--------moe_fused_kernel.cu(4KB)
--------timer.hh(393B)
--------cublas_wrapper.h(5KB)
--------moe_compute_kernel.cu(9KB)
--------moe_comm_kernel.cu(5KB)
--------cuda_stream_manager.cpp(2KB)
--------.gitignore(12B)
--------moe_cuda_kernel.h(2KB)
----.pylintrc(18KB)
----tests()
--------test_ddp.py(4KB)
--------moe.py(3KB)
--------test_numerical.py(12KB)
--------test.sh(705B)
--------benchmark_mlp.py(4KB)
--------test_dp.py(1KB)
----LICENSE(11KB)
----requirements.txt(18B)
----doc()
--------fastmoe_data_parallel.png(52KB)
--------readme-cn.md(4KB)
--------logo()
--------fastmoe_model_parallel.png(72KB)
--------release-note.md(940B)
----examples()
--------transformer-xl()
--------.gitignore(54B)
--------megatron()
----setup.py(1KB)
----.gitignore(112B)
----README.md(4KB)