文心ERNIE-ViLG,你的免费插图画师

时间:2022-10-09 21:07:45

你是否想拥有一个专属画师,免费为你的优美文字插上几幅优美的插图?如今依然实现

最近AI作画确实很火,在DALL-E和Imagen崭露头角之后,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相继开源开放,涌现出丰富多彩的AI作画作品。本次通过一个开源工具来整体测试三种模型效果,用几行代码就整体测试国内外模型的效果。

Ai绘图效果展示

文心ERNIE-ViLG,你的免费插图画师

prompt:明日方舟,炫酷,兽耳娘,机能风,卡通

文心ERNIE-ViLG,你的免费插图画师

prompt:巨大的纯白色城堡

项目地址:PaddleHub/modules/image/text_to_image/ernie_vilg at develop · PaddlePaddle/PaddleHub · GitHub

Stable-Diffusion(SD)效果

文心ERNIE-ViLG,你的免费插图画师

prompt:a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus

文心ERNIE-ViLG,你的免费插图画师

prompt:close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art

文心ERNIE-ViLG,你的免费插图画师

prompt:clouds surround the mountains and Chinesepalaces,sunshine,lake,overlook,overlook,unreal engine,light effect,Dream,Greg Rutkowski,James Gurney,artstation

项目地址:github.com/PaddlePaddl…

Disco-Diffusion效果

文心ERNIE-ViLG,你的免费插图画师

prompt:在artstation上的一幅美丽的画,一个独特的灯塔,照耀着它的光穿过喧嚣的血海

由greg rutkowski和thomas Kinkade所作

文心ERNIE-ViLG,你的免费插图画师

prompt:在宁静的风景中画一幅美丽的建筑画

由Arthur Adams在artstation上所作

文心ERNIE-ViLG,你的免费插图画师

prompt:小桥流水人家

以上惊艳的文图生成效果,是通过PaddleHub三行Python代码实现的作品

import paddlehub as hub 
module = hub.Module(name="ernie_vilg") 
results = module.generate_image(text_prompts=["巨大的白色城堡"])

以上ernie_vilg替换为stable_diffusion或disco_diffusion_ernievil_base即可轻松体验不同的文图生成模型,用户也可自定义修改text_prompts来获得不同的效果体验。

三行代码虽然简单,但是代码背后的文图生成模型可不简单,分别来源于现在文图生成领域最顶尖的开源成果:ERNIE-ViLGStable-Diffusion以及Disco Diffusion + ERNIE-ViL。以DD+ ERNIE-ViL为例,DD扩散模型负责从初始噪声或者指定初始图像中来生成目标图像,ERNIE-ViL负责引导生成图像的语义和输入的文本的语义尽可能接近,随着扩散模型在ERNIE-ViL的引导下不断的迭代生成新图像,最终能够生成文本所描述内容的图像。这种惊艳的效果,在PaddleHub这里只需要三行代码即可体验。也可以通过huggingface的ERNIE-ViLG空间体验,如图:

文心ERNIE-ViLG,你的免费插图画师

体验网站:

国内外文生图模型的效果对比,大家可以自行测试,只需要三行代码就可以,github项目地址:

Github:https://github.com/PaddlePaddle/PaddleHub

我用这个Demo也绘制了几张图片,总结:以后不用手绘插图了!而且Ai没有版权,不用担心插图侵犯别人的图片版权而被索赔。
文心ERNIE-ViLG,你的免费插图画师

文心ERNIE-ViLG,你的免费插图画师

Demo体验网址:两个网站速度一致,大概一分半钟可以绘制成功。

百度提供:https://wenxin.baidu.com/moduleApi/ernieVilg

第三方提供:https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

AIStudio 项目:https://aistudio.baidu.com/aistudio/projectdetail/4671669