Stable Diffusion学习笔记TOP19

@@_ControlNet的安装与参数详解实操

利用ControlNet在文生图还原整张图的细节，但不保留它的颜色；以下张图片为例。

【还原以下图像的构图，不保留颜色】：需要输入构图信息（深度提取环境层次和线稿提取图像构图），不输入其他色彩信息。

回到SD的文生图界面进行设置：

1、选择ControlNet中的深度

2、选择ControlNet中的线稿，因为图片偏写实的所以预处理器选择写实
按照不同需求的扩散结果选择不同的细分预处理器。

3、其他参数不变，然后更改基本参数

4、然后点击预览，可以不进行预览但要养成好的习惯；点击预览可以检查ControlNet的控制图是否达到预期结果避免浪费时间。

5、利用自带的提示词反推【WD 1.4标签器】反推出输入图像的提示词然后复制到文生图的提示词框里，开启【Tiled Diffusion】和【Tiled VAE】。

6、点击运行。

文章来源于互联网:Stable Diffusion零基础学习

相关推荐: AIGC工具-Stable Diffusion安装指南

Stable Diffusion Web UI安装教程 简介 这是一款ai学习的作图模型训练，github的官网地址是https://github.com/AUTOMATIC1111/stable-diffusion-webui 参考上面的github仓库中的…

Stable Diffusion学习笔记TOP10

sd学习笔记TOP10的修改版本：IP2P的模型文件跟配置文件未添加，Tile分块重采样和局部重绘的模型文件跟配置文件撰写错误已被修改

@@_插件篇之ControlNet功能篇

ControlNet目前支持的10多种预处理器，根据数据检测种类可分为两种类型：
1、功能型：拥有着不同的能力
2、构图型：控制着SD扩散图形的构图规则

IP2P：一个言出法随的修图模型；是使用50%的指令提示和50%的描述提示进行训练。
模型文件：control_v11e_sd15_ip2p.pth
配置文件：control_v11e_sd15_ip2p.yaml
将原图放入到ControlNet，并在提示词输入让它变成什么样子。
语法：（让它怎么样）
make it on XXX / make it XXX / make he XXX
【提示词：make it lion】
备注：可以执行我们指定的局部命令，我们需要它修改什么元素就可以修什么元素而保持其它元素结构不变；所以IP2P可以用于环境背景天气的更改以及单独修改人物。

Tile分块重采样：忽略输入图像的细节并添加新的细节，通常与放大器一起使用以同时放大图像，在对图像增加细节的同时不改变原有的基本构图。
模型文件：control_v11fle_sd15_tile.pth
配置文件：control_v11fle_sd15_tile.yaml
常用的放大插件有：
SD upscale/Ultimate SD upscale/StableSR/Tiled Diffusion

局部重绘：也叫做修复，可以让我们在重绘中使用高去噪强度来生成较大的变化，而不会牺牲与整个图片的一致性。
模型文件：control_v11p_sd15_inpaint.pth
配置文件：control_v11p_sd15_inpaint.yaml
在重绘的时候使用它，更能懂得我们输入的提示词元素应该出现在哪里；也可以用它来扩展图像。
【提示词：1 cat,looking at viewer, simple background,】
更改为
【提示词：1 dog,looking at viewer, simple background,】
猫变成狗狗了，但身体还是猫的身体。
输入图像 使用inpaint仅局部 未使用inpaint
当然我们也可以用这个来扩展图像：
使用inpaint only+lama
调整输入分辨率
缩放后填充空白
配合提示词
可参考往期基础篇章的图生图参数详解

Reference 参考：生成与参考图像相似的图像，但图像仍会受到稳定扩散模型和提示的影响。

使用参考预处理器，不使用控制模型，我们只需要选择预处理器即可。实际上，模型下拉菜单将在选择参考预处理器后隐藏。
1、Reference adain：
参考 adain：通过自适应实例规范化进行样式转换(基本算法)。
2、Reference only：
仅参考：将参考图像直接链接到注意力层。
(从潜空间开始影响，不清楚的看之前的图生图详解)
3、Reference adain+attn：
adain+attn：以上的组合（参考幅度更大）
参考的原理有点类似于图生图原理，但附带收束功能；图生图只是在初始引响噪声图而参考，可以理解为一种持续影响的图生图。

在同一模型下，固定人物外貌特征，扩散系列图像（配合两张参考图的TAG反推提示词）

文章来源于互联网:Stable Diffusion零基础学习

相关推荐: Stable Diffusion实战教程，轻松实现LOGO设计，多种风格任意切换~

Logo，作为品牌的视觉核心，其重要性不言而喻。它不仅是品牌的标识，更是品牌精神和文化的体现。一个成功的Logo能够简洁而有力地传达品牌的信息和特质，使消费者在短时间内就能对品牌产生深刻的印象。 在Logo的设计过程中，极简与象征性是关键要素。极简的设计可以让…