文件名称：minGPT-TF:OpenAI GPT（生成式预训练变压器）培训的最小Tensorflow重新实现
文件大小：270KB
文件格式：ZIP
更新时间：2024-05-29 12:52:28
tensorflow tf2 gpt language-model gpt-2
minGPT-TF TensorFlow重新实现 笔记本电脑 在play_char.ipynb训练过的play_math.ipynb和play_char.ipynb 。位于每个笔记本的顶部，用于在colab上训练模型。 play_char.ipynb笔记本batch_size大小以适合可容纳GPU内存。 根据GPU内存更改参数。 自述文件 PyTorch重新实施培训。 minGPT试图做到小巧，整洁，可解释且具有教育意义，因为大多数当前可用的工具都有些庞大。 GPT不是一个复杂的模型，该实现大约包含300行代码，包括样板代码和一个完全不必要的自定义因果自我注意模块。 无论如何，所有的事情就是将一个索引序列放入一个转换器块序列中，并得出下一个索引的概率分布。 其余的复杂性只是通过批处理（跨示例和整个序列长度）而变得很聪明，因此培训是有效的。 minGPT的核心“库”（hah）是两个文件
【文件预览】：
minGPT-TF-master
----mingpt()
--------utils.py(2KB)
--------model.py(9KB)
--------__init__.py(0B)
--------optimization.py(5KB)
--------trainer.py(8KB)
----requirements.txt(37B)
----LICENSE(1KB)
----README.md(7KB)
----mingpt.jpg(116KB)
----mingpt-tf2.jpg(135KB)
----play_char.ipynb(92KB)
----play_math.ipynb(18KB)
----.gitignore(2KB)