文件名称：ELECTRA-lightning:ELECTRA在火炬上的非官方重新实现（闪电）
文件大小：17KB
文件格式：ZIP
更新时间：2024-04-24 22:19:53
Python
[WIP] ELECTRA闪电 这只是ELECTRA的另一种重新实现，但采用的是火炬般的闪电。 当前，有几种ELECTRA实施，这极大地帮助了我发展自己的事业，尤其是 ， 的实施，当然还有的官方实施。 动机 尽管上面提到的所有实现都是高质量的。 我想使用此模型进行一些多模式实验。 因此，我需要更多的控制权。 另外，我还想玩一些训练语言模型，而ELECTRA是目前唯一允许我使用可实现的计算能力来训练有趣模型的模型。
【文件预览】：
ELECTRA-lightning-master
----pyproject.toml(542B)
----conf()
--------training()
--------config.yaml(113B)
--------trainer()
--------datamodule()
--------architecture()
----electra()
--------models()
--------lit_module.py(4KB)
--------lit_datamodule.py(3KB)
--------dataset()
--------__init__.py(101B)
--------utils()
----LICENSE(1KB)
----.gitignore(3KB)
----README.md(839B)