文件名称：模型并行[GPT2]和类似[GPT3]的模型的实现-Python开发
文件大小：83KB
文件格式：ZIP
更新时间：2024-06-14 05:25:48
Python Natural Language Processing
使用[mesh-tensorflow]（https://github.com/tensorflow / mesh）库。 GPT Neo:party_popper:1T还是让我破产了:party_popper:模型和数据并行GPT2和类似GPT3的模型的实现，能够使用mesh-tensorflow库扩展到完整的GPT3尺寸（甚至可能更多！）。 TPU和GPU均支持训练和推理。 还包括其他模型架构和线性关注实现，应能够扩展到更大的模型尺寸和上下文长度，包括：本地关注线性关注专家组合轴向P
【文件预览】：
gpt-neo-master
----encoders.py(885B)
----.gitignore(1KB)
----Dockerfile(455B)
----requirements.txt(235B)
----tasks.py(4KB)
----data()
--------encoders.py(875B)
--------train_tokenizer.py(2KB)
--------create_tfrecords.py(12KB)
----sample.py(9KB)
----GPTNeo_example_notebook.ipynb(116KB)
----CODEOWNERS(23B)
----optimizers.py(6KB)
----test_models.py(6KB)
----models()
--------activations.py(4KB)
--------gpt2()
--------layers.py(15KB)
--------utils.py(4KB)
----LICENSE(1KB)
----docker-compose.yml(2KB)
----.github()
--------ISSUE_TEMPLATE()
--------workflows()
----utils.py(10KB)
----model_fns.py(14KB)
----README.md(21KB)
----configs()
--------gpt3_XL_256_Pile.json(974B)
--------gpt3_6-7B_256.json(907B)
--------gpt3_medium_256.json(916B)
--------gpt3_13B_256_Pile.json(977B)
--------gpt3_large_256.json(1007B)
--------gpt3_13B_256.json(1KB)
--------gpt3_small_256.json(936B)
--------gpt2_small.json(900B)
--------gpt3_PAR_small_256.json(970B)
--------dataset_configs()
--------gpt3_2-7B_256.json(959B)
----run_experiment.py(10KB)
----main.py(11KB)
----inputs.py(15KB)
----export.py(501B)
----configs.py(2KB)