文件名称：chainer-openai-transformer-lm:OpenAI的优化转换器语言模型的Chainer实现，其中包含一个脚本，用于导入由OpenAI预训练的权重
文件大小：212KB
文件格式：ZIP
更新时间：2024-05-31 18:09:32
Python
OpenAI的精细变压器语言模型的Chainer实现 这是一个Chainer贯彻提供OpenAI的论文由亚历克·雷德福，KARTHIK纳拉辛汉，蒂姆Salimans和伊利亚Sutskever。 包含ROCStories和SST（斯坦福情感树库）的实验代码。 该实现包括一个脚本，用于在Chainer模型中加载由作者使用TensorFlow实现进行预训练的权重。 这是从通过尽可能进行行级替换来实现的。 如果您有兴趣，请参阅 。 它并不总是包含传统上对于链接器来说很自然的实现，但是您可以享受与pytorch（和tensorflow）的对齐。 该实现方法达到了与该论文所报告的更好或相同的精度。 在ROCStories测试集中，十次运行的中位数为86.72对85.8，最佳为87.49对86.5。 在SST测试集上：最好的是91.87 ，而10次运行中为91.3。 模型类和加载脚本位于。
【文件预览】：
chainer-openai-transformer-lm-master
----.gitignore(1KB)
----README.md(5KB)
----opt.py(5KB)
----download_model_params.sh(100B)
----datasets.py(3KB)
----train.py(14KB)
----LICENSE(1KB)
----utils.py(3KB)
----text_utils.py(4KB)
----model_py.py(10KB)
----parameters_names.json(4KB)
----assets()
--------ftlm.png(204KB)
----analysis.py(1KB)