文件名称：aitextgen:使用GPT-2进行基于文本的AI培训和生成的强大Python工具
文件大小：604KB
文件格式：ZIP
更新时间：2024-05-17 08:15:38
Python
文字 强大的Python工具，可使用和架构进行基于文本的AI培训和生成。 aitextgen是一个Python软件包，它利用 ， 和以及针对使用GPT-2生成文本的特定优化以及许多附加功能。 它是和的后继者，并充分利用了这两个软件包： 在OpenAI的预训练124M / 355M / 774M GPT-2模型或EleutherAI的125M / 350M GPT Neo模型上进行微调...或者创建自己的GPT-2 / GPT Neo模型+标记器并从头开始训练！ 生成文本的速度比gpt-2-simple更快，并且具有更高的内存效率！ 使用Transformers，aitextgen保留了与基本软件包的兼容性，从而使您可以将模型用于其他NLP任务，从HuggingFace模型库中下载自定义GPT-2模型，并上传您自己的模型！ 而且，它使用包含的generate()函数来对生成的文本进行
【文件预览】：
aitextgen-master
----MANIFEST.in(40B)
----docs()
--------generate-performance.md(1KB)
--------dataset.md(4KB)
--------upload.md(766B)
--------load-model.md(3KB)
--------CNAME(17B)
--------helpful-notes.md(2KB)
--------generate.md(3KB)
--------cli.md(1KB)
--------tutorials()
--------gpt-2-simple.md(759B)
--------ethics.md(1KB)
--------save-model.md(2KB)
--------index.md(2KB)
--------loggers.md(644B)
----aitextgen()
--------tokenizers.py(2KB)
--------aitextgen.py(31KB)
--------utils.py(6KB)
--------cli.py(1KB)
--------TokenDataset.py(15KB)
--------train.py(8KB)
--------static()
--------__init__.py(41B)
--------colab.py(1KB)
----DESIGN.md(5KB)
----.github()
--------FUNDING.yml(731B)
----mkdocs.yml(2KB)
----Dockerfile(285B)
----LICENSE(1KB)
----ROADMAP.md(655B)
----UPCOMING.md(2KB)
----requirements.txt(69B)
----setup.py(862B)
----.gitignore(89B)
----CHANGELOG.md(3KB)
----README.md(8KB)
----notebooks()
--------training_hello_world.ipynb(15KB)
--------reddit_demo.ipynb(9KB)
--------hacker_news_demo.ipynb(11KB)
--------generation_hello_world.ipynb(10KB)