文件名称：mixture-of-experts:Noam Shazeer等人的“稀疏门控专家混合物层”的PyTorch重新实现。 https
文件大小：20KB
文件格式：ZIP
更新时间：2024-05-24 12:30:50
pytorch moe re-implementation mixture-of-experts sparsely-gated-mixture-of-experts
PyTorch专家层的稀疏门控混合物 该存储库包含对PyTorch的《 描述的稀疏门控MoE层的PyTorch重新实现。 from moe import MoE # instantiate the MoE layer model = MoE ( input_size = 1000 , num_classes = 20 , num_experts = 10 , hidden_size = 66 , k = 4 , noisy_gating = True ) # forward y_hat , aux_loss = model ( X ) 要求 此示例在CPU上使用Torch v1.0.0和Python v3.6.1进行了测试。 要安装需求，请运行： pip install -r requirements.py 虚拟示例 文件example.py包含一个最小的工作示例，该示例说明了如
【文件预览】：
mixture-of-experts-master
----mlp.py(632B)
----moe.py(12KB)
----example.py(2KB)
----requirements.py(13B)
----LICENSE(34KB)
----cifar10_example.py(3KB)
----README.md(2KB)