分享
AI绘画生成视频——Stable Diffusion插件Deforum动画大师教程
输入“/”快速插入内容
AI绘画生成视频——Stable Diffusion插件Deforum动画大师教程
2024年8月20日修改
作者:德里克文
原文:
https://zhuanlan.zhihu.com/p/685099...
想知道如何采用AI绘画工具来制作下面这张变换场景的动画视频吗?
Sora的公布,让大众对AI生成视频的能力有了一个极高的期待。但是Sora的公开测试还没有任何消息,而且从公布的视频来看都是属于文生视频的做法,对于精确控制的能力不知能达到什么程度。
要知道要形成工作中能用的工具,对于具体内容的精确控制是非常重要的,在此之前,让我们关注下目前能够进行精确控制并实际应用的工具。
那么如何采用AI绘画软件来制作动态的视频画面呢?让我来介绍下Stable Diffusion里面的一个插件Defoum(动画大师)效果。
一、Deforum插件介绍
Stable Diffusion的Deforum插件,这是一个运用了稳定扩散技术的动画制作工具,能依赖于文字描述或者参照视频,生成一系列连续的图像,并且将这些图像无缝拼接为视频。
这个插件所应用的"image-to-image function"技术,能微调图像帧,并采用稳定扩散的方法来产生接下去的一帧。正因为帧与帧之间的变化非常细微,从而带来了流畅的视频播放体验。
而关于Stable Diffusion,Stable Diffusion是一种基于深度学习的文本到图像生成模型,于2022年发布。它能够根据文本描述生成详细的图像,同时也可以应用于其他任务,例如图生图,生成简短视频等。
Stable Diffusion Web UI是一个基于Web的用户界面,用于使用Stable Diffusion进行图像生成和其他任务。该Web UI由AUTOMATIC1111开发,并开源上传至Github,也是目前使用最多的WebUI版本。
Stable Diffusion Web UI提供了易于使用的图形界面,可以帮助用户更直观地了解和使用Stable Diffusion的功能,并在基本不需要编写代码的情况下启动和监视训练过程。
二、实操教程
1.操作界面
在进入操作界面后,我们选择插件栏的Deforum。
然后进入界面进行设置,主要需要设置的就是采样器、采样迭代步数、宽度、高度以及输出目录(Batch name),其他保持默认就可以了。
采样器建议可以采用Euler a或者DDIM加快速度,选其他也没关系,不同采样风格而已,可以自己实验
几个主要的区别我也列出来:
Euler(基础采样,适合范围广)、DDIM(加速采样,生成速度较快)、Euler a(生成结果多样性)、Dpm 2 M Karras(适合二次元风格)、Dpm Sde Karras(增强颜色与光影)
采样迭代步数一般在20~30之间,建议设置25就可以,步数越多时间越长,效果也会更好一些。
宽度高度根据自己想要的出图尺寸自己设置。