文件名称：gpt-neox:基于DeepSpeed库的GPU上类似于GPT-3的模型并行模型的实现。 设计成能够训练数千亿甚至更大参数的模型
文件大小：209KB
文件格式：ZIP
更新时间：2024-03-28 01:30:50
transformers language-model gpt-3 deepspeed-library Python
GPT-NeoX 该存储库记录了正在进行的用于训练大规模GPU语言模型的工作。 我们当前的框架基于NVIDIA的，并通过技术以及一些新颖的优化功能得到了增强。 如果您正在寻找我们的TPU代码库，请参阅 。 GPT-NeoX正在积极开发中，而且边缘还很粗糙。 GPT-NeoX是一种复杂的野兽，需要时间和患者才能在任何特定环境下工作。 入门 我们的代码库依赖 ，它是对库的自定义修改。 我们强烈建议您在从requirements.txt安装之前使用Anaconda，虚拟机或其他形式的环境隔离。 否则，可能导致依赖DeepSpeed的其他存储库损坏。 数据集 一旦安装了requirements.txt ，下一步就是获取和处理数据。 出于演示目的，我们托管了Enron电子邮件语料库，并可供下载。 运行python prepare_data.py将下载并处理数据集以进行语言建模。 要使用您自己的