AI大模型教程
一起来学习

【Stable Diffusion】深度解析ControlNet:最强控制插件与参考风格应用指南

前言:

在AI图像生成领域,Stable Diffusion的ControlNet插件以其强大的控制能力脱颖而出。本文将深入解析ControlNet的核心功能,并结合参考风格的应用实践,帮助读者掌握这一工具,解锁更精准、更具创意的图像生成体验。

ControlNet:最强控制插件 ControlNet作为Stable
Diffusion的插件,以其强大的控制能力而闻名。它允许用户在生成图像的过程中,精确控制图像的细节、风格和整体效果。无论是调整图像的色调、 对比度 ,还是改变图像的风格,ControlNet都能轻松应对。

因为AI生成人物往往是带有随机性的,每次生成都会有一些不可控的区别,所以一直以来,设计师们都想解决生成人物能保持统一这个问题。

自从ControlNet1.1.17的版本升级之后,作者更新了一个新的预处理器——reference。这个预处理器最大的作用,就是通过一张给定的参考图可以延续出一系列相似的图,这样就为我们给同一个角色生成系列图提供了可能,接下来让我们一起来看看它是怎么使用的。

使用方法

首先我们进入文生图,填写一段提示词。如下:(杰作,最好的质量),一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景。

设置一下常规参数,先生成一张图。

接下来,我们想用这个人物作为主角生成一系列其他的图。将图片拖入到ControlNet中,预处理器选择reference
only,控制模型一定要选择“均衡”。保真度数值越高,对图片的参考就越强,我们先设置为1看看。

可以看到,在没有明确指向性提示词的情况下,人物形象保持了一致,但是她的表情、动作、服装产生了随机的不同程度的变化。

我们可以试着通过添加关键词的方式来给人物换装,比如添加“红裙子”。

同时更改服装和表情,比如添加“黑色校服、哭泣”。

同时更改动作和表情,比如添加“抱手、生气”。

同时更改姿态,环境和表情,比如添加“在花丛中奔跑、开心”。

添加“红色棒球帽,时尚卫衣,在商场逛街”。

通过一系列测试,可以发现这个功能可以让我们在绘制系列插画、漫画、小说插图等等工作时,能保持主角形象的统一,也能根据情况做实时的调整,如果后期再配合lora,潜力可以想象是非常大的。

其他应用

我们还可以测试一些有趣的东西,比如拿一些完全不相干的图片来做参考,看看会发生什么。

还是使用刚才女孩坐在草地上的提示词不变,但是参考图片换成一筐草莓。

得到了和刚才那张图比较接近的色调,说明这个风格参考也可以作为一种滤镜功能使用。找到喜欢的图片色调,就能直接参考出来。

如果使用蒙娜丽莎作为参考,会得到什么效果呢?

世界名画诞生了,而且似乎是连画风也进行了参考,甚至脸庞也有点像了,可能是我把参考值拉满了的原因。

再尝试参考一下梵高的星空,很好奇这种特别强烈的绘画风格参考出来是什么样的。

当当, 图像生成 !

色调、笔触还挺有那个味道的,而且像素越低,感觉越像是什么回事。

最后,我们再使用reference进行一下扩图。将上面这张图发送到图生图,调整尺寸,用较小的重绘幅度,得到下面这张图片。

进行局部重绘,将两边区域图上蒙版。

正向提示词改为“长满鲜花和植物的田野”,来描述背景的内容。

ControlNet继续使用星空来控制参考风格。

这样背景就扩充好了,效果还是不错的。

借用这个思路,我们还可以尝试通过多个ControlNet通道的结合,来实现绘图的风格控制。

比如,我们接下来要给这张线稿上色。

然后风格参考这张水彩的插画。

两个通道分别如下设置:一个采用lineart_anime做预处理器;另一个用reference_only做参考风格。提示词为:一个女孩,头像,水彩。

点击生成,我们就通过参考风格绘制好了这张线稿上色。这张的模型使用的是有名的二次元模型“AnythingV5V3_v5PrtRE”。

使用不同的模型和参数设置也会产生不用的效果,比如这张更换了大模型“colorBoxModel_colorBOX”,色彩更鲜明一些。

这张还是使用的“AnythingV5V3_v5PrtRE”模型,并额外添加了“Moxin”Lora,水墨风格化更明显了。

好了,以上就是ControlNet插件当中reference参考预处理器的介绍,更多的用法大家可以自己去发掘,玩得开心。

资料软件免费放送

这份完整版的SD整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

文章来源于互联网:【Stable Diffusion】深度解析ControlNet:最强控制插件与参考风格应用指南

相关推荐: 论文AI率检测严格?这5款降AIGC工具来帮忙

在学术写作领域,AI技术的快速发展既带来了便利,也引发了新的挑战。随着知网、维普、万方等主流学术平台相继推出论文AIGC率检测功能,AI生成内容的比例已成为评判论文质量的重要标准之一。这一变化让许多依赖AI辅助写作的研究者感到困扰——如何在不影响效率的前提下,…

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » 【Stable Diffusion】深度解析ControlNet:最强控制插件与参考风格应用指南
分享到: 更多 (0)

AI大模型,我们的未来

小欢软考联系我们