文件名称：aitextgen - 使用GPT-2进行基于文本的AI训练和生成的强大Python工具-python
文件大小：605KB
文件格式：ZIP
更新时间：2024-07-08 14:15:07
A robust Python tool for text-based AI training and generation using GPT-2. aitextgen 一个强大的 Python 工具，用于使用 OpenAI 的 GPT-2 架构进行基于文本的 AI 训练和生成。 aitextgen 是一个 Python 包，它利用 PyTorch、Huggingface Transformers 和 pytorch-lightning 对使用 GPT-2 的文本生成进行了特定优化，以及许多附加功能。 它是 textgenrnn 和 gpt-2-simple 的继承者，充分利用了这两个软件包的优点：在 OpenAI 的预训练 124M GPT-2 模型上进行微调……或者创建您自己的 GPT-2 模型 + 分词器并从头开始训练！ 生成文本比 gpt-2-simple 更快，内存效率更高！ （甚至来自 1.5B GPT-2 模型！）使用 Transformers，aitextgen 保持与基础包的兼容性，允许您将该模型用于其他 NLP 任务，从 Huggingface 模型存储库
【文件预览】：
aitextgen-master
----MANIFEST.in(40B)
----docs()
--------generate-performance.md(1KB)
--------dataset.md(4KB)
--------upload.md(766B)
--------load-model.md(3KB)
--------CNAME(17B)
--------helpful-notes.md(2KB)
--------generate.md(3KB)
--------cli.md(1KB)
--------tutorials()
--------gpt-2-simple.md(759B)
--------ethics.md(1KB)
--------save-model.md(2KB)
--------index.md(2KB)
--------loggers.md(644B)
----aitextgen()
--------tokenizers.py(2KB)
--------aitextgen.py(31KB)
--------utils.py(6KB)
--------cli.py(1KB)
--------TokenDataset.py(15KB)
--------train.py(9KB)
--------static()
--------__init__.py(41B)
--------colab.py(1KB)
----DESIGN.md(5KB)
----.github()
--------FUNDING.yml(731B)
----mkdocs.yml(2KB)
----Dockerfile(285B)
----LICENSE(1KB)
----ROADMAP.md(655B)
----UPCOMING.md(2KB)
----requirements.txt(69B)
----setup.py(862B)
----.gitignore(89B)
----CHANGELOG.md(3KB)
----README.md(8KB)
----notebooks()
--------training_hello_world.ipynb(15KB)
--------reddit_demo.ipynb(9KB)
--------hacker_news_demo.ipynb(11KB)
--------generation_hello_world.ipynb(10KB)