文件名称：ru-gpts:俄罗斯GPT3型号
文件大小：133KB
文件格式：ZIP
更新时间：2024-04-04 22:52:31
Python
ruGPT3XL，ruGPT3Large，ruGPT3Medium，ruGPT3Small和ruGPT2Large 该存储库包含在一堆庞大的俄语数据集上训练的一堆自回归转换器语言模型。 俄罗斯GPT-3模型（ruGPT3XL，ruGPT3Large，ruGPT3Medium，ruGPT3Small）经过训练，具有2048个序列长度，稀疏且密集的注意块。 我们还提供训练有1024个序列长度的俄罗斯GPT-2大型模型（ruGPT2Large）。 我们建议使用ruGPT2Large或ruGPT3XL，因为该模型已经过充分测试并获得最佳的困惑。 使用示例在进行了详细说明。 您可以在找到旧版本的代码 目录 设置和使用 培训前细节 先进的 设置和使用 模型可以通过两种方式用于推理或微调： :hugging_face: HuggingFace接口或我们基于此代码。 两种方式都需要安装变压器： pip insta
【文件预览】：
ru-gpts-master
----.gitignore(1KB)
----requirements.txt(130B)
----src()
--------data_utils()
--------model()
--------__init__.py(0B)
--------arguments.py(19KB)
--------fp16()
--------learning_rates.py(3KB)
--------xl_wrapper.py(12KB)
--------utils.py(20KB)
--------dataset_rugpt3.py(6KB)
--------mpu()
--------gpt3_data_loader.py(4KB)
--------deepspeed_config()
--------download_utils.py(3KB)
----pretrain_transformers.py(33KB)
----LICENSE(11KB)
----generate_samples.py(6KB)
----convert2huggingface.py(1KB)
----examples()
--------Finetune_and_generate_RuGPTs_deepspeed_megatron.ipynb(16KB)
--------Generate_text_with_RuGPTs_HF.ipynb(8KB)
--------ruGPT3XL_finetune_example.ipynb(6KB)
--------ruGPT3XL_generation.ipynb(23KB)
--------Finetune_RuGPTs_with_HF.ipynb(19KB)
--------Finetune_and_generate_RuGPTs_only_with_megatron.ipynb(17KB)
----scripts()
--------deepspeed_gpt3_xl_finetune.sh(1KB)
--------deepspeed_gpt3_medium.sh(1KB)
--------deepspeed_gpt3_small.sh(1KB)
--------deepspeed_gpt3_large.sh(1KB)
--------deepspeed_gpt3_xl.sh(1KB)
----README.md(12KB)
----generate_transformers.py(10KB)
----pretrain_gpt3.py(32KB)