Deforum 与 AnimateDiff 不太一样,
AnimateDiff 是生成丝滑变化视频的,而 Deforum 的丝滑程度远远没有 AnimateDiff 好。
它是根据对比前面一帧的画面,然后不断生成新的相似图片,来组合成一个完整的视频。
Deforum 的优点在于可控性好,提示词的变化,镜头的运动方向,画面的变化程度,以及噪声加入的多少,甚至中途改变模型都可以控制。
通过 Deforum 可以很清晰的制作瞬息全宇宙的动态视频效果。
安装
插件下载地址:https://github.com/deforum-art/sd-webui-deforum
解压后,将文件夹放置在:SD安装目录extensions
重启UI 后,即可在顶部看到 Deforum 的标签:

实操应用
由于 Deforum 是需要不停的画面变化,因此最好选择通用性较好的大模型来生成视频。
运行Tab
在该 Tab 页面,可设置采样方法,视频的宽高,默认是使用随机种子来不断生成图片,如果是生成人物,建议勾选☑️「面部修复」:

提示词Tab
这里填写的提示词,一定要按照官方格式来修改填写,
下方可设置固定的正反向提示词:

填写好提示词后,其他保持默认值,点击「生成」,等待出图。
生成完毕后,点击图片上方「生成完成后点这里显示视频」即可加载视频,再点击「播放」:

把视频下载⏬下来:

关键帧Tab
「动画模式」无脑选择「3D」即可,因为「3D」是具有最丰富的镜头运动参数的;
「边界处理模式」有两个选项:
- 复制:以视频的上一帧的边缘来扩展图片
-
覆盖(推荐!!!):根据上一帧画面整体来产生画面,不受边缘限制,能让 AI 更具想象力

「生成间隔」(关键参数!!!):
这里的 2 表示:2帧画面,其中1帧是生成的,另外1帧由软件通过插值的方式自动补上去;
因此,数值越大,生成的帧数越少,剩下的都由插值补上,生成速度越快,并且闪烁减少,但清晰度也相对越差:

「强度」:前一帧影响下一帧的强度,数值越大,前后画面的关联性越强;
下图中,0帧是以0.75的关联度来开始变化的,如果发现白天与黑夜间的变化效果不明显,
可补充输入70:(0.6):指的是,70帧后,关联性降到0.6,以便 AI 有更多的创造性:

「迭代步数」、「采样方法」、「模型」都可以指定具体的帧数进行切换,其他的选项卡,保持默认即可:

重新调整参数后,完整视频如下:
超过5M,无法添加
今天先分享到这里~
开启实践:SD绘画 | 为你所做的学习过滤
文章来源于互联网:Stable Diffusion绘画 | 插件-Deforum:动态视频生成(上篇)
本篇文章重点讲解参数最多的 关键帧 模块。
「动画模式」选择「3D」:

下方「运动」Tab 会有一系列参数:

以下4个参数,只有「动画模式」选择「2D」才会生效,可忽略:

运动
平移 X
让镜头左右移动:
大于0(0:(1)):向右移动
小于0(0:(-1)):向左移动

生成视频效果如下:

平移 Y
让镜头上下移动:
大于0(0:(1)):向上移动
小于0(0:(-1)):向下移动

生成视频效果如下:

平移 Z
让镜头前后移动:
大于0(0:(1)):向前移动
小于0(0:(-1)):向后移动

生成视频效果如下:

3D 翻转 X
让镜头从当前位置,朝上下旋转
大于0(0:(1)):向上旋转
小于0(0:(-1)):向下旋转

生成视频效果如下:

3D 翻转 Y
让镜头从当前位置,朝左右旋转
大于0(0:(1)):向右旋转
小于0(0:(-1)):向左旋转

生成视频效果如下:

3D 翻转 Z
让镜头从当前位置,朝 顺时针/逆时针 旋转
大于0(0:(1)):向逆时针🔄旋转
小于0(0:(-1)):向顺时针🔃旋转

生成视频效果如下:

噪声(点)
该模块用于控制画面的噪点变化情况的,以便于画面与画面之间的变化。

噪声类型:
- 均匀:适合用于生成动漫二次元风格
- 柏林:适合用于生成人物、2.5D风格
噪声调度计划:
国外一群专门研究 Deforum 的用户推荐的公式:0:(-0.06*(cos(3.141*t/15)**100)+0.06)
填写该公式后,生成的视频效果如下:

柏林噪声倍频:数值越高,添加的噪点越柔和;数值越低,添加的噪点越明显;
柏林噪声递增幅度:数值越大,每次迭代增加的噪声越明显,更容易生成新的元素;
噪声倍率调度计划:数值变大,会直接添加海量的噪声,使得画面细节加强;
一致性

颜色一致性
建议选择 LAB 或者 RGB ;
若发现颜色还是存在明显区别的话,可以勾选☑️下方的「经典颜色匹配」
生成间隔中启用光流法
推荐选择RAFT 或者 Farneback ;选择后,需要搭配右侧的权重使用,略微增加即可(能有效降低画面闪烁抖动情况):

对比度调度计划
用于调整对比度,加大能促进画面变化,但数值太大的话,会生成一些诡异不同色调的内容。
其他选项保持默认即可。
模糊抑制
该模块主要用于给视频增加锐度的。

只需要修改「强度计划」即可,当发现画面模糊时,可适当增加一点。
综合以上两个模块的调整,生成视频效果如下:

深度变形&视场角
该模块主要用于优化视频画面的畸变情况:

这里唯一需要设置的,就是「视场角(FOV)调度计划」:
当运动镜头有 Z轴 推移时,FOV值越小,纵深感越强烈,反之纵深感越不明显
今天先分享到这里~
开启实践:SD绘画 | 为你所做的学习过滤
文章来源于互联网:Stable Diffusion绘画 | 插件-Deforum:动态视频生成(中篇)