mixture-of-experts:混合Keras专家层

时间:2024-05-20 16:33:19
【文件属性】:

文件名称:mixture-of-experts:混合Keras专家层

文件大小:56KB

文件格式:ZIP

更新时间:2024-05-20 16:33:19

Python

混合Keras专家层 该存储库包含实现专家模型的卷积和密集混合的Keras层。 专家层的密集混合物 文件DenseMoE.py包含一个DenseMoE.py层,该层实现了专家模型的密集混合: 该层可以与Dense层相同的方式使用。 它的一些主要论据如下: units :输出维数 n_experts :专家人数( ) expert_activation :专家模型的激活功能( ) gating_activation :门控模型的激活函数( ) 请参阅DenseMoE.py以获取其他参数。 卷积专家层 文件ConvolutionalMoE.py包含实现专家模型的1D,2D和3D卷积混合的Keras层: 其中*表示卷积运算。 这些层可以以与相应的标准卷积层( Conv1D , Conv2D , Conv3D )相同的方式使用。 例子 文件conv_moe_demo.py包含一个示例,


【文件预览】:
mixture-of-experts-master
----conv_moe_demo.py(6KB)
----jacobian_moe_demo.py(1KB)
----moe_vs_cnn.png(36KB)
----DenseMoE.py(9KB)
----LICENSE(34KB)
----README.md(4KB)
----ConvolutionalMoE.py(21KB)

网友评论