Stable Diffusion WebUI从入门到精通（九）

本章更新之前第六章的第二十部分。

第二十部分 低秩模型（LoRA）

20.1 LoRA的基本概念

LoRA（Low-Rank Adaptation）是一种优化生成图像的方法。它可以让图像生成模型在保持高质量的前提下，变得更高效、更快速。它主要用于大规模预训练模型的微调。它通过将权重矩阵分解为低秩矩阵，从而减少训练参数，降低计算开销。LoRA在保持模型性能的前提下，能够快速适应新的任务或数据集。LoRA从大语言模型中衍生出来，类似hypernetwork的单独网络参数训练。LoRA模型大小适中，可以多个不同的LoRA模型加权重叠使用，适合在本地显存有限的情况下进行使用。通过结合Checkpoints一起使用，实现对大模型生成效果的细节上的修正。

在Stable Diffusion中，LoRA模型可以让AI针对更具体的形象、特征来生成图片，同时简化了生成图片的步骤，让整个过程变得更加具体和便捷。

20.2 LoRA的作用与应用简析

LoRA的作用：

精准生图：LoRA可以让图像特征生成得更为精准，虽然不如Embeddings那样轻巧，但却可以更具象化的生成你想要的目标人物或特征。

应用场景：

目前LoRA常用于游戏、电影等应用场景的人物创造，可以通过大量的训练来创造出特征鲜明的人物角色。

模型位置：LoRA模型放置于WebUI文件根目录下Models文件夹内的LoRA文件夹内

如何调用：

1.在提示词中输入lora:模型名称即可调用。例如：lora:princess_xl_v2，也有一些LoRA有固定的触发提示词，具体可以参考各LoRA的说明文件。

2.在提示词下方的”扩展模型”菜单中点击”Lora”，然后点击你已安装好并希望使用的LoRA模型即可。

3.附加网络扩展：Additional Network。

安装完该插件后，我们复制一下我们的LoRA模型所在的目录。

然后到”设置-Additional Network”菜单中，将我们LoRA模型所在目录的地址粘贴到该位置并保存。

然后展开”Additional Network”菜单，刷新模型列表，就能勾选使用你需要的LoRA模型了。该方式支持最多同时使用5个Lora模型，并可以分别调节它们的参数，通过这种方式加载Lora模型，可以不用再在提示词中加载Lora模型了，提示词就会更清晰简洁。但通过这种方式生成的图片信息中并不会显示你所包含的Lora模型，所以如果你希望将生成图片连同信息一同分享给别人的话，需要谨慎使用这种方式。

另外，该方式支持加载蒙版功能，可以使我们的LoRA特定在图像中的局部生效。

20.3 LoRA的具体示例

我这里采用All Disney Princess XL LoRA Model结合一些二次元的大模型来生成迪士尼的人物形象。

下载地址：https://civitai.com/models/212532/all-disney-princess-xl-lora-model-from-ralph-breaks-the-internet

该LoRA模型可以生成多个人物形象，我们在正向提示词中加入lora:princess_xl_v2:0.4（权重可以根据模型的说明文件来设定）触发该模型并加入人物名称elsa来生成爱莎公主的形象。（你也可以输入其他形象名称）

正向提示词：

cinematic photo casual elsa,

文章来源于互联网:Stable Diffusion WebUI从入门到精通（九）

相关推荐: stable diffusion 启动爆错：Failed to create model quickly； will retry using slow method.也失败，如何解决？

🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！u…