文件名称：group-transformer:Group-Transformer 的官方代码（按轻量级字符级语言模型的分组特征缩小 Transformer，COLING-2020）
文件大小：42KB
文件格式：ZIP
更新时间：2024-06-20 04:44:49
lightweight language-modeling pytorch character-level-language-model Python
Group-Transformer：通过对特征进行分组来缩小 Transformer 组转换器的Pytorch正式实现可适应按组计算而不减小特征尺寸或网络深度。 有关更多详细信息，请参阅论文“通过分组特征为轻量级字符级语言模型 (COLING-2020) 缩小 Transformer”。 软件要求 这项工作已在 PyTorch 0.4.1、CUDA 9.0、python 3.6 和 Ubuntu 16.04 上完成。 pip3 install torch==0.4.1 如何运行训练好的模型 下载 enwik8 数据集 sh download_enwik8.sh 火车组-变压器 sh enwik_model_train.sh 检查文件中的参数和选项。 接触 如果有任何问题，请随时与我联系（Sungrae Park ）。 致谢 该存储库包含最初从分叉的代码。 执照 Copyrig
【文件预览】：
group-transformer-main
----enwik_model_train.sh(854B)
----train.py(26KB)
----utils()
--------proj_adaptive_softmax.py(6KB)
--------log_uniform_sampler.py(6KB)
--------vocabulary.py(6KB)
--------data_parallel.py(4KB)
--------exp_utils.py(1KB)
--------adaptive_softmax.py(4KB)
----data_utils.py(11KB)
----modules()
--------positionwiseff.py(2KB)
--------embedding.py(4KB)
--------group_modules.py(11KB)
--------attention.py(12KB)
--------decoder.py(3KB)
----mem_transformer.py(9KB)
----LICENSE(11KB)
----eval.py(5KB)
----README.md(2KB)
----NOTICE(7KB)
----download_enwik8.sh(388B)