文件名称：xlnet-Pytorch：使用Pytorch包装器的简单XLNet实现
文件大小：545KB
文件格式：ZIP
更新时间：2024-02-24 09:12:03
nlp natural-language-processing pytorch bert xlnet
XLNet-Pytorch 使用Pytorch包装器可轻松实现XLNet！ 您可以看到XLNet Architecture如何以小批量（= 1）进行预训练的示例。 用法 $ git clone https://github.com/graykode/xlnet-Pytorch && cd xlnet-Pytorch # To use Sentence Piece Tokenizer(pretrained-BERT Tokenizer) $ pip install pytorch_pretrained_bert $ python main.py --data ./data.txt --tokenizer bert-base-uncased \ --seq_len 512 --reuse_len 256 --perm_size 256 \ --bi_data True --mask_alpha 6 --mask_beta 1 \ --num_predict 85 --mem_len 384 --num_epoch 100 另外，您可以轻松地在运行代码。 纸中预训练的
【文件预览】：
xlnet-Pytorch-master
----.gitignore(0B)
----README.md(4KB)
----XLNet.ipynb(48KB)
----xlnet.py(21KB)
----LICENSE(11KB)
----main.py(5KB)
----data_utils.py(14KB)
----images()
--------ARmodel.png(43KB)
--------ParPrediction.png(22KB)
--------hyperparameters.png(131KB)
--------AEmodel.png(44KB)
--------PLM.png(172KB)
--------twoattn.png(117KB)
--------target-aware.png(28KB)
----data.txt(11KB)