Stable Diffusion使用Deforum制作视频

{
  "0": "tiny cute bunny, vibrant diffraction, highly detailed, intricate, ultra hd, sharp photo, crepuscular rays, in focus",
  "30": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field",
  "60": "a beautiful coconut --neg photo, realistic",
  "90": "a beautiful durian, award winning photography"
}

上面的提示词意思是，它会在视频开始时使用第一个提示。然后在第 30 帧切换到使用第二个提示，在第 60 帧切换到使用第三个提示，在第 90 帧切换到使用第四个提示。

测试的时候你可以保持提示词不变。

4、单击“生成”开始生成视频。

5、在完成后，单击生成按钮上方的按钮即可观看视频。

你可以通过点击右下角的三个圆点将视频保存到本地存储。或者你也可以在 img2img-images 文件夹下的输出目录中找到你的视频。

看起来效果还不错，接下来我们进行更多的探索。

基本设置

我们首先来了解一下两个最重要的设置

Motions (2D and 3D)
Prompts

在逐步了解制作视频的示例之前，了解 Deforum 的功能非常重要。

在本节中，你将看到更改一个参数同时保持其他所有参数不变的示例。这些是视频构建的重要部分。

通过将它们组合起来并在不同时间打开和关闭它们，你可以创建令人惊叹的视觉效果。

运动(Motion)设置

运动设置是 Deforum 中最常用的选项之一。只需更改它们和提示，你就可以制作出不错的视频。因此，我们应该很好地了解运动设置的工作原理及其功能。

让我们介绍两种最常用的动画模式

2D：将图像视为 2D 并执行各种变换(例如缩放和旋转)以创建运动错觉。
3D：将图像视为 3D 场景的视图。你可以在任何 3D 操作中移动相机的视角。

2D运动设置

2D缩放

使用缩放功能放大或缩小图像。1为正常大小，使用大于1的缩放值进行放大，使用小于1的缩放值进行缩小。

该值距离 1越远，缩放速度越快。

默认情况下，缩放集中在中心。你可以通过设置“变换中心 X”和“变换中心 Y“来控制焦点。

如下图左边值为0.99，右边为1.01。

2D旋转

使用 2D 角度旋转图像。0为不旋转，正值使图像逆时针旋转，负值使图像顺时针旋转。

值越大，图像旋转得越快。

默认情况下，旋转围绕图像的中心。你可以通过设置“变换中心 X”和“变换中心 Y“来控制旋转中心。我们将在下面的几个滚动中介绍它们。

如下图左边值为2，右边为-2。

2D平移X轴

使用平移X将图像横向移动。0为不移动，使用正值将图像向右移动，使用负值将图像向左移动。

如下图左边值为5，右边为-5。

2D平移Y轴

使用平移Y上下移动相机。0为不移动，使用正值将图像向下移动，使用负值将图像向上移动。

如下图左边值为5，右边为-5。

2D变换中心

变换中心用于改变缩放或(和)旋转的焦点。

X和Y的默认值为 0.5，即图像的中心。(X,Y)=(0,0)是左上角，(1,1)是右下角。其他常见位置请参见下图。

你可以指定小于 0 或大于 1的值。它们将位于图像之外。

下面是在左上角(0，0)和右下角(1，1)放大的两个示例。

2D透视翻转

透视翻转对图像执行类似 3D 的变换，以创建一些很酷的效果。

你需要选择启用透视翻转才能启用这些选项。

如下面的示例图

theta为12的效果：

phi为12的效果：

gamma为12的效果：

3D 运动设置

3D 运动是 2D 运动的替代方案。想象一下你拿着相机，你可以按照你想要的方式移动和旋转相机。

3D平移X轴

平移X将相机向侧面移动。0为不移动，正值将相机向右移动。负值将相机向左移动。

如下图为设置X值为2的效果：

3D平移Y轴

平移Y使相机上下移动。0为不移动，使用正值将相机向上移动。负值会使相机向下移动。

如下图为设置Y值为2的效果：

3D平移Z轴

3D中的平移Z类似于2D运动中的缩放。

如下图为设置Z值为2的效果：

3D旋转X轴

旋转 X 使相机绕 X 轴旋转。

如下图为设置X值为2的效果：

3D旋转Y轴

旋转 Y 使相机绕 Y 轴旋转。

如下图为设置Y值为2的效果：

3D旋转Z轴

旋转 Z 使相机绕 Z 轴旋转。

如下图为设置Z值为2的效果：

运动时间表

运动设置以表格形式输入

frame1:(value1), frame2:(value2), frame3:(value3), ...

每个条目由两个数字组成:生效的 frame数字和运动设置的value。每个条目的帧和值必须用冒号分隔，并且值必须放在括号中。

你始终需要第 0 帧的条目。你可以拥有任意数量的条目。

需要注意的是，当你有两个或更多条目时，就意味着在两个帧之间进行插值。

例如，缩放中使用的以下公式意味着在前 100 帧中逐渐将缩放值从 1增加到 1.02，并在接下来的 100 帧中将缩放值减小回 1。

0:(1), 100:(1.02), 200:(1)

如果你希望新的缩放值从第 100 帧开始生效，你可以编写如下内容：

0:(1), 99:(1), 100:(1.02), 150:(1.02), 151:(1), 200:(1)

此公式将仅在第 100 帧和第 150 帧之间应用缩放效果。

每个设置都有自己的运动时间表，
Zoom:0:(1)
Angle: 0:(0)
Transform Center X: 0:(0.5)
Transform Center Y: 8:(1)
Translate X:0:(0)
Translate Y:0:(5)，60:(0)

注意：不能只写 180:(5)。请写 0:(0),180:(5)。第一个条目必须是第 0 帧。

实战演练

第1 步：生成初始图像

初始图像是你在 deforum 视频中可以完全控制的少数内容之一。它也可以说是最重要的，因为它为动画的其余部分设定了基调和颜色。
花点时间在 txt2img 选项卡中生成一个好的起始图像。

在此示例中，我使用了以下提示词，同时使用Lora。

on a football field,high detail skin,high detail eyes,high detail hair,highres,ultra detailed,sharpen picture,Highly detailed,masterpiece,best quality,photorealistic,

文章来源于互联网:Stable Diffusion使用Deforum制作视频

相关推荐: Stable Diffusion ComfyUI安装详细教程

上一篇文章介绍了sd-webui的安装教程，但学习一下ComfyUI这种节点流程式的对理解AI绘画有较大帮助，而且后期排查错误会更加方便，熟练后用这种方式做AI绘画可玩性会更多。一、安装包说明 ComfyUI 开源地址如下： https://github.c…