文件名称：pytorch-performer:使用pytorch的Performer简单实现
文件大小：7.78MB
文件格式：ZIP
更新时间：2024-04-08 20:13:11
nlp kernel transformer attention language-model
演员 pytorch Performer的简单实现。 模型 表演者使用随机特征图来近似内核。内核期望取代Transformer的“点积自关注”。 Softmax内核 kernel_transformation=softmax_kernel_transformation. 鲁鲁内核 kernel_transformation=relu_kernel_transformation 测试与范例 语言模型 动力总成 预训练屏蔽语言模型。 预训练文件： /example/train_mlm.py 。 配置文件： /example/config.json 用法 ①准备要训练的数据集和词汇②检查config.json中的配置③运行/example/train_mlm.py 精读 去做 表演者绩效测试 编写测试示例 适用于语言模型 评估语言模型 参考
【文件预览】：
pytorch-performer-main
----model()
--------util.py(708B)
--------embedding.py(2KB)
--------performer.py(15KB)
----requirements.txt(26B)
----example()
--------util.py(0B)
--------arg.py(890B)
--------train_mlm.py(11KB)
--------dataset.py(4KB)
--------schedule.py(4KB)
--------config.json(367B)
--------colab-config.json(502B)
--------train_korquad.py(10KB)
--------korquad_utils.py(34KB)
----README.md(1KB)
----data()
--------wiki()
--------korquad()
--------wiki-vocab.txt(137KB)
--------vocab-v1.txt(149KB)