文生图-Stable-Diffusion 的使用

简介

介绍Stable Diffusion 的原理、安装及WebUI和ComfyUI的使用

定义：A latent text-to-image diffusion model

特点

1. 操作复杂，可控制性较高

2. 单次生成的质量较MJ差

   每次生成图片的质量是随机的，不是线性递增的

   质量高低取决于模型是否用过与提示词相关的图像来训练

   质量：指图像的整体效果，包括分辨率、清晰度、颜色准确性、细节保留等因素

   画质：指图像中视觉细节的清晰度和精确性，属于图片质量的一部分

应用场景

适合基于原图进行局部修改

工作方式：不用太在意提示词，一次生成大量图片，稍后进行挑选

工作原理

工作流程

可以分为两个主要阶段：

1. 添加噪声阶段（前向扩散过程）：从清晰的图像开始，模型逐步向图像中添加噪声，直到图像变成纯噪声。这一过程用于训练模型学习如何生成噪声分布。
2. 去除噪声阶段（反向扩散过程）：从纯噪声开始，模型逐步去除噪声，最终生成逼真的图像。这个过程是模型生成图像的核心。

编码器

文本编码器

• 作用: 将输入的文本提示转换为适合模型使用的特征向量。这个特征向量表示了文本的语义信息，并将其作为条件输入到扩散模型中，指导图像生成过程。

图像编码器

• 作用: 用于将图像输入编码成特征表示。这些特征表示可以与文本编码结合，用于指导特定风格或特征的图像生成

解码器

• 作用: 将隐藏的特征表示转换为最终的输出图像

部署

整合包：包括stable diffusion、ui（webui or comfyui）、模型、插件&

文章来源于互联网:文生图-Stable-Diffusion 的使用