【文件属性】:
文件名称:ReZero-examples:PyTorch示例回购“ ReZero就是您所需要的
文件大小:1014KB
文件格式:ZIP
更新时间:2021-03-09 11:55:01
JupyterNotebook
ReZero的例子
此回购包含演示ReZero体系结构强大功能的示例,请参见。
官方的ReZero回购在。
最终有效错误:香草-7.74。 修正-7.5。 ReZero-6.38,。
贡献
如果您发现ReZero或类似的体系结构可以提高应用程序的性能,则邀请您在此处共享一个演示。
安装
要通过pip安装ReZero,请使用pip install rezero rezero
用法
我们提供自定义的ReZero变压器层(RZTX)。
例如,这将创建一个Transformer编码器:
import torch
import torch . nn as nn
from rezero . transformer import RZTXEncoderLayer
encoder_layer = RZTXEncoderLayer ( d_model = 512 , nhead = 8 )
tran
【文件预览】:
ReZero-examples-master
----Plots()
--------ResNet56_error.png(205KB)
--------ResNet56_loss.png(206KB)
--------ResNet110_error.png(176KB)
--------ResNet110_loss.png(198KB)
--------ResNet56_error_2.png(205KB)
----requirements.txt(45B)
----ReZero-Deep_Fast_Transformer.ipynb(64KB)
----LICENSE(1KB)
----ReZNet-6x_faster_ResNet_training_via_ReZero.ipynb(31KB)
----ReZero-Deep_Fast_NeuralNetwork.ipynb(53KB)
----README.md(2KB)