文件名称：gpt-neo:使用Mesh-tensorflow库实现模型并行GPT2和类似GPT3的模型的实现，能够扩展到完整的GPT3尺寸（甚至可能更多！）
文件大小：84KB
文件格式：ZIP
更新时间：2024-04-06 18:56:56
transformers gpt language-model gpt-2 gpt-3
GPT Neo :party_popper: 1T或半途而废 :party_popper: 模型和数据并行和类模型的实现，可以使用库扩展到完整的GPT3大小（甚至可能更多！）。 TPU和GPU均支持训练和推理。 还包括替代模型体系结构和线性注意实现，应能够扩展到更大的模型大小和上下文长度，包括： 当地关注 掩盖语言建模 预训练的模型将在完成训练后发布。 设置 git clone https://github.com/EleutherAI/GPTNeo cd GPTNeo pip3 install -r requirements.txt 培训设置 TPU： 注册 ，然后创建一个。 通过ctpu up --vm-only通过google shell（ https://ssh.cloud.google.com/ ）创建VM，以便它可以连接到Google存储桶和TPU并使用pip安装要求（请参见上文） 。 然后阅读下面的。 G
【文件预览】：
gpt-neo-master
----configs.py(2KB)
----models()
--------gpt2()
--------utils.py(4KB)
----main.py(11KB)
----utils.py(10KB)
----data()
--------create_tfrecords.py(10KB)
--------encoders.py(875B)
--------train_tokenizer.py(2KB)
----.github()
--------ISSUE_TEMPLATE()
--------workflows()
----sample.py(9KB)
----encoders.py(885B)
----Dockerfile(455B)
----optimizers.py(6KB)
----inputs.py(15KB)
----LICENSE(1KB)
----GPTNeo_example_notebook.ipynb(14KB)
----configs()
--------gpt3_small_256.json(936B)
--------gpt3_PAR_small_256.json(970B)
--------gpt3_small_local_256.json(926B)
--------gpt3_large_256.json(1007B)
--------gpt3_small_moe_8.json(1KB)
--------gpt3_local.json(894B)
--------dataset_configs()
--------gpt3_XL_256.json(958B)
--------gpt3_XL_256_Pile.json(974B)
--------gpt3_scaling_128_pile.json(1KB)
--------gpt3_scaling_256_pile.json(1KB)
--------gpt3_6-7B_256.json(907B)
--------gpt3_scaling_32_pile.json(1KB)
--------gpt3_XL_256_SmallPileAblation_CC_raw.json(1KB)
--------gpt3_2-7B_256.json(959B)
--------gpt3_XL_256_SmallPileAblation_CC100en.json(1KB)
--------gpt3_13B_256.json(1KB)
--------gpt3_XL_128_Pile.json(973B)
--------gpt3_13B_256_Pile.json(977B)
--------gpt3_XL_256_SmallPileAblation_owt.json(1KB)
--------gpt3_XL_256_SmallPileAblation_Pile.json(1KB)
--------gpt3_medium_256.json(916B)
--------gpt3_XL_64_Pile.json(973B)
--------gpt2_small.json(900B)
----requirements.txt(235B)
----docker-compose.yml(2KB)
----.gitignore(1KB)
----export.py(501B)
----run_experiment.py(10KB)
----tasks.py(8KB)
----README.md(17KB)
----scripts()
--------gpt_2B7_huggingface_config.json(788B)
--------pile_eval.py(3KB)
--------gpt_huggingface_config.json(788B)
--------convert_gpt.py(5KB)
--------run_docker.sh(130B)
--------start_test_tb.sh(106B)
----model_fns.py(14KB)
----test_models.py(6KB)
----CODEOWNERS(23B)