ReZero-examples:PyTorch示例回购“ ReZero就是您所需要的

时间:2024-03-29 05:41:41
【文件属性】:

文件名称:ReZero-examples:PyTorch示例回购“ ReZero就是您所需要的

文件大小:1014KB

文件格式:ZIP

更新时间:2024-03-29 05:41:41

JupyterNotebook

ReZero的例子 此回购包含演示ReZero体系结构强大功能的示例,请参见。 官方的ReZero回购在。 最终有效错误:香草-7.74。 修正-7.5。 ReZero-6.38,。 贡献 如果您发现ReZero或类似的体系结构可以提高应用程序的性能,则邀请您在此处共享一个演示。 安装 要通过pip安装ReZero,请使用pip install rezero rezero 用法 我们提供自定义的ReZero变压器层(RZTX)。 例如,这将创建一个Transformer编码器: import torch import torch . nn as nn from rezero . transformer import RZTXEncoderLayer encoder_layer = RZTXEncoderLayer ( d_model = 512 , nhead = 8 ) tran


【文件预览】:
ReZero-examples-master
----Plots()
--------ResNet56_error.png(205KB)
--------ResNet56_loss.png(206KB)
--------ResNet110_error.png(176KB)
--------ResNet110_loss.png(198KB)
--------ResNet56_error_2.png(205KB)
----requirements.txt(45B)
----ReZero-Deep_Fast_Transformer.ipynb(64KB)
----LICENSE(1KB)
----ReZNet-6x_faster_ResNet_training_via_ReZero.ipynb(31KB)
----ReZero-Deep_Fast_NeuralNetwork.ipynb(53KB)
----README.md(2KB)

网友评论