文件名称：marge-pytorch:在Pytorch中实施Marge（通过释义进行预训练）
文件大小：110KB
文件格式：ZIP
更新时间：2024-06-17 05:56:01
deep-learning retrieval transformers artificial-intelligence pre-training
Marge-通过释义进行预训练 在Pytorch中实施 （通过释义进行预训练）。 它是掩盖语言建模预训练的替代方法，在该方法中，编码器/解码器注意网络学习从证据文档的集合中重建目标文档。 更新：三位研究人员已独立报告该存储库适用于他们 安装 $ pip install marge-pytorch 用法 import torch import numpy as np from torch . utils . data import DataLoader from marge_pytorch import Marge , TrainingWrapper # your documents must be tokenized and stored as memmap in the shape (num documents, seq length) # constants NUM_DOCS =
【文件预览】：
marge-pytorch-master
----setup.py(778B)
----.gitignore(2KB)
----LICENSE(1KB)
----.github()
--------workflows()
----README.md(5KB)
----marge_pytorch()
--------__init__.py(133B)
--------autoregressive_wrapper.py(3KB)
--------marge_pytorch.py(21KB)
----marge.png(97KB)