文件名称：xlnet：XLNet：用于语言理解的广义自回归预训练
文件大小：2.9MB
文件格式：ZIP
更新时间：2024-02-24 08:57:48
nlp deep-learning tensorflow NaturallanguageprocessingPython
介绍 XLNet是一种基于新型广义置换语言建模目标的新型无监督语言表示学习方法。 此外，XLNet使用作为主干模型，在涉及长上下文的语言任务中表现出出色的性能。 总体而言，XLNet在各种下游语言任务（包括问题回答，自然语言推断，情感分析和文档排名）上均获得了最新的（SOTA）结果。 有关技术细节和实验结果的详细说明，请参阅我们的论文： 杨志林*，戴子行*，杨一鸣，Jaime Carbonell，Ruslan Salakhutdinov，Quoc V.Le （*：均等） 预印本2019 发行说明 2019年7月16日：XLNet-Base。 2019年6月19日：带有XLNet-Large和代码的初始版本。 结果 截至2019年6月19日，XLNet在20个任务上的表现优于BERT，并在18个任务上取得了最新的成果。 下面是XLNet-Large和BERT-Large之间的一些比较，它们具有相似的模型大小： 阅读理解结果 模型 SQuAD1.1 EM SQuAD2.0 EM BERT-大 72.0 84.1 78.98 XLNet库 80.18 XLNet-大 81.7
【文件预览】：
xlnet-master
----function_builder.py(13KB)
----model_utils.py(14KB)
----train.py(9KB)
----run_squad.py(45KB)
----data_utils.py(29KB)
----notebooks()
--------colab_imdb_gpu.ipynb(7KB)
----run_classifier.py(29KB)
----prepro_utils.py(4KB)
----scripts()
--------tpu_race_large_bsz32.sh(993B)
--------tpu_squad_large.sh(1023B)
--------tpu_race_large_bsz8.sh(992B)
--------gpu_squad_base.sh(895B)
--------prepro_squad.sh(867B)
----gpu_utils.py(2KB)
----modeling.py(28KB)
----run_race.py(19KB)
----__init__.py(0B)
----train_gpu.py(11KB)
----classifier_utils.py(4KB)
----tpu_estimator.py(136KB)
----LICENSE(11KB)
----README.md(18KB)
----squad_utils.py(12KB)
----misc()
--------race_example.md(1KB)
--------slides.pdf(3.06MB)
----.gitignore(1KB)
----xlnet.py(10KB)