比肩Gen-2,全新开源文生视频模型

时间:2024-03-09 20:51:18

著名开源平台Stability.ai在官网宣布,推出全新文生视频的扩散模型Stable Video Diffusion,已开源了该项目并公布了论文。

据悉,用户通过文本或图像就能生成高精准,14帧和25帧的短视频。目前,Stable Video Diffusion处于预览版状态,仅用于学术研究,未来会开放商业权限。

在FVD的测试数据显示,,Stable Video Diffusion的0样本效果明显超过目前的主流模型。在人类主观评估上, 无论是图像质量还是视频运动的连贯性,也显著优于Gen-2、Pika Labs等商业文生视频模型。

在多视角渲染方面,在PSNR、LPIPS等客观指标评测,该技术生成的视频效果也超过当前最优的方法。

github地址:https://github.com/Stability-AI/generative-models

huggingface地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

论文地址:https://stability.ai/s/stable_video_diffusion.pdf

比肩Gen-2,全新开源文生视频模型_AI&chatGPT_长臂猿_企业应用及软件系统平台

GitHub - qnguyen3/chat-with-mlx: Chat with your data natively on Apple Silicon using MLX Framework.