DALLE-mtf:Open-AI的DALL-E用于网格张量流中的大规模训练

【文件属性】：
文件名称：DALLE-mtf:Open-AI的DALL-E用于网格张量流中的大规模训练
文件大小：38KB
文件格式：ZIP
更新时间：2021-03-07 19:39:39
transformers artificial-intelligence autoregressive text-to-image variational-autoencoder Mesh-Tensorflow [WIP]中的DALL-E Mesh-Tensorflow中的Open-AI 。 如果这与具有类似的效率，则此回购库应该能够训练模型，并使模型达到Open-AI的DALL-E（12B参数）的大小，并大于Open-AI的DALL-E（12B参数）的大小。 没有预训练的模型...但是。 感谢的tf vae实施以及mtf版本的工作，以及的帮助来构建mtf VAE和输入管道。 设置 git clone https://github.com/EleutherAI/GPTNeo cd GPTNeo pip3 install -r requirements.txt 培训设置 在TPU上运行，未经GPU检验，但理论上应该可以工作。 示例配置旨在在TPU v3-32 pod上运行。 要设置TPU，请注册 ，然后创建一个。 通过带有ctpu up --vm-onl

【文件预览】：
DALLE-mtf-main
----train_vae.py(4KB)
----make_tpu.py(4KB)
----LICENSE(1KB)
----src()
--------model_fns_tf.py(5KB)
--------data()
--------optimizers.py(7KB)
--------input_fns.py(5KB)
--------vae_tf()
--------dalle_mtf()
--------utils()
--------model_fns.py(10KB)
----train_vae_tf.py(4KB)
----train_dalle.py(5KB)
----configs()
--------vae_coco.json(749B)
--------dalle_coco.json(753B)
--------vae_example.json(744B)
--------dalle_example.json(722B)
----requirements.txt(143B)
----README.md(6KB)
----CODEOWNERS(24B)