一. 一个Inpainting的基本示例

在图生图中通过如下设置生成图片。

• 大模型：Realistic Vision V5.1

• 正向提示词：full body, audrey hepburn, black hair, 18 years old, 1940’s, photoshoot, Fujifilm XT3 Viltrox, posing, instagram, happy smile, stand up, ultra detailed, sharp focus, elegant, jewels, urban background, rim lighting, short beige dress, beige kitten-heels, black gloves, pearl tiara, pearls necklace, brilliant pearl earrings, hdr, high contrast, sunlight, , shadows, skin pore, pretty, beautiful, feminine, loving, in love, adorable , fashion, chic, excellence, leg, dress

• 反向提示词：ugly, deformed, nsfw, disfigured

• CFG Scale：7

• 图片宽高：512*768

会生成一些质量较好的图像。但在全身图像中，会经常出现脸部不太正确。

下面我们使用图生图的局部重绘(Inpainting)来修复一下。

图生图相关参数设置如下：

注意：重绘区域选择“仅蒙版区域”，因为我们只想要重新生成被遮罩的区域。

点击【生成】按钮，得到修复后的照片如下（原文中的修复图片）。

我自己操作了一下，生成的照片效果如下（图片进行了高清处理）。

**图片修复机制：**修复与图像到图像类似，在去噪之前将随机噪声添加到潜在空间中的整个图像中。但随机噪声仅添加到修复中的遮蔽区域。

二. 关于Inpainting的相关参数设置

重绘强度（Denoising strength）

重绘强度是修复中最重要的设置。它控制遮罩区域应改变的程度。

作为缩略图的规则，太高的值会导致修复结果与图像的其余部分不一致。值太低可能会导致结果模糊。将重绘强度设置为0.5是一个很好的选择。

重绘区域：整个图片与仅蒙版区域

为什么Stable Diffusion无法正确生成脸部？就是因为人脸太小了。Stable Diffusion v1 的原始分辨率为 512×512 像素。在一个比较低的像素画布上，绘制一个全身图，脸部分配到的像素不够。

仅蒙版区域选项旨在解决此问题。它裁剪掉遮罩区域并使用该区域的整个分辨率。然后它将结果缩放回其原始大小。这样就解决了绘制小脸或物体的问题。

整个图片选项按原样获取输入图片和蒙版，无需裁剪。

仅蒙版区域选项最常见的用例是重新生成更精细的细节面部。这通常会牺牲图像其余部分的一致性，因为您会裁剪掉遮罩区域以进行修复。

如果全局一致性很重要，例如修复背景中的瑕疵，请使用整个图片选项。

修复整个图片并不能修复脸部。

另一方面，在重新生成部分背景时应该修复整个图片。使用仅蒙版区域选项可能会产生如下图所示的伪像。

蒙版区域内容处理

蒙版内容选项指定是否要在修复之前更改蒙版区域的图像。

• 填充(Fill)：替换为遮罩区域的平均颜色。

• 原版(Original)：没有变化。

• 潜空间噪声(Latent noise)：仅随机噪声。

• 空白潜空间(Latent nothing): 无颜色或噪声（全零潜像）

原版是蒙版区域内容处理中最常见的选择。当您想要与原始图像完全不同的东西时，您可能需要使用填充。潜空间噪音和空白潜空间生成的图片常常无法使用。

提示词

使用修复的最有效方法之一是更改遮罩区域的内容。例如，使用生成一致面孔的技术，我将“奥黛丽·赫本”替换为安娜·德·阿玛斯（艾玛·沃特森：0.5）、丽莎·索贝拉诺。

Ana de Armas, (emma watson:0.5), Liza Soberano

三. Inpainting模型

在SD大模型中，有一种专门为修复而设计的SD修复模型。该修复模型与标准模型略有不同。它有 5 个额外的 UNet 输入通道，代表掩模和掩模图像。

修复小补丁时通常不需要使用修复模型。它们用于修复大面积区域。由于更改大模型可能会极大地影响图片风格，因此您应该使用与原始模型相匹配的修复模型。

修复模型可以在高去噪强度下产生更高的全局一致性。请参阅下面的图片。用原始模型和修复模型修复了图像的下半部分。（重绘强度设置为1）

在使用修复模型时报如下错误：RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 1 but got size 2 for tensor number 1 in the list.

您可以在“设置”功能菜单界面上选择“Optimization”菜单，将”Negative Guidance minimum sigma”设置为 0。

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

文章来源于互联网:Stable Diffusion【进阶篇】：Inpainting完整指南_stable diffusion inpainting

相关推荐: 唯有惊叹！一手体验首款通用Agent产品Manus

昨天夜里，深夜惊雷。 一个新团队突然发了一个首款通用型的项目：Manus。演示在此，我人直接看麻了。 看完我的第一感觉，人类又要一败涂地了。 这就是 OpenAI 的 DeepResearch 和 Claude 的 Computer Use 的究极集合体，甚至…

大家好，我是安琪。

一. 一个Inpainting的基本示例

在图生图中通过如下设置生成图片。

• 大模型：Realistic Vision V5.1

• 正向提示词：full body, audrey hepburn, black hair, 18 years old, 1940’s, photoshoot, Fujifilm XT3 Viltrox, posing, instagram, happy smile, stand up, ultra detailed, sharp focus, elegant, jewels, urban background, rim lighting, short beige dress, beige kitten-heels, black gloves, pearl tiara, pearls necklace, brilliant pearl earrings, hdr, high contrast, sunlight, , shadows, skin pore, pretty, beautiful, feminine, loving, in love, adorable , fashion, chic, excellence, leg, dress

• 反向提示词：ugly, deformed, nsfw, disfigured

• CFG Scale：7

• 图片宽高：512*768

会生成一些质量较好的图像。但在全身图像中，会经常出现脸部不太正确。

下面我们使用图生图的局部重绘(Inpainting)来修复一下。

图生图相关参数设置如下：

注意：重绘区域选择“仅蒙版区域”，因为我们只想要重新生成被遮罩的区域。

点击【生成】按钮，得到修复后的照片如下（原文中的修复图片）。

我自己操作了一下，生成的照片效果如下（图片进行了高清处理）。

**图片修复机制：**修复与图像到图像类似，在去噪之前将随机噪声添加到潜在空间中的整个图像中。但随机噪声仅添加到修复中的遮蔽区域。

二. 关于Inpainting的相关参数设置

重绘强度（Denoising strength）

重绘强度是修复中最重要的设置。它控制遮罩区域应改变的程度。

作为缩略图的规则，太高的值会导致修复结果与图像的其余部分不一致。值太低可能会导致结果模糊。将重绘强度设置为0.5是一个很好的选择。

重绘区域：整个图片与仅蒙版区域

为什么Stable Diffusion无法正确生成脸部？就是因为人脸太小了。Stable Diffusion v1 的原始分辨率为 512×512 像素。在一个比较低的像素画布上，绘制一个全身图，脸部分配到的像素不够。

仅蒙版区域选项旨在解决此问题。它裁剪掉遮罩区域并使用该区域的整个分辨率。然后它将结果缩放回其原始大小。这样就解决了绘制小脸或物体的问题。

整个图片选项按原样获取输入图片和蒙版，无需裁剪。

仅蒙版区域选项最常见的用例是重新生成更精细的细节面部。这通常会牺牲图像其余部分的一致性，因为您会裁剪掉遮罩区域以进行修复。

如果全局一致性很重要，例如修复背景中的瑕疵，请使用整个图片选项。

修复整个图片并不能修复脸部。

另一方面，在重新生成部分背景时应该修复整个图片。使用仅蒙版区域选项可能会产生如下图所示的伪像。

蒙版区域内容处理

蒙版内容选项指定是否要在修复之前更改蒙版区域的图像。

• 填充(Fill)：替换为遮罩区域的平均颜色。

• 原版(Original)：没有变化。

• 潜空间噪声(Latent noise)：仅随机噪声。

• 空白潜空间(Latent nothing): 无颜色或噪声（全零潜像）

原版是蒙版区域内容处理中最常见的选择。当您想要与原始图像完全不同的东西时，您可能需要使用填充。潜空间噪音和空白潜空间生成的图片常常无法使用。

提示词

使用修复的最有效方法之一是更改遮罩区域的内容。例如，使用生成一致面孔的技术，我将“奥黛丽·赫本”替换为安娜·德·阿玛斯（艾玛·沃特森：0.5）、丽莎·索贝拉诺。

Ana de Armas, (emma watson:0.5), Liza Soberano

三. Inpainting模型

在SD大模型中，有一种专门为修复而设计的SD修复模型。该修复模型与标准模型略有不同。它有 5 个额外的 UNet 输入通道，代表掩模和掩模图像。

修复小补丁时通常不需要使用修复模型。它们用于修复大面积区域。由于更改大模型可能会极大地影响图片风格，因此您应该使用与原始模型相匹配的修复模型。

修复模型可以在高去噪强度下产生更高的全局一致性。请参阅下面的图片。用原始模型和修复模型修复了图像的下半部分。（重绘强度设置为1）

在使用修复模型时报如下错误：RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 1 but got size 2 for tensor number 1 in the list.

您可以在“设置”功能菜单界面上选择“Optimization”菜单，将”Negative Guidance minimum sigma”设置为 0。

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

文章来源于互联网:Stable Diffusion【进阶篇】：Inpainting完整指南

相关推荐: Stable Diffusion【真人模型】：人像光影摄影极限写实真实感大模型

大家好，我是极客菌 今天和大家分享一个基于SD1.5的真人大模型：人像光影摄影极限写实真实感大模型。 该模型具有以下特点： 真实肤感（在面部肌理和皮肤肌理上均有加强学习，拒绝ai出图假的问题） 永不脱妆（在不写正面妆容关键词的情况下，永远自带妆容） 摄影光感（…

注：文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有需要的小伙伴文末扫码自行获取。

个人觉得对大家理解局部重绘（Inpainting）非常有用，所以这里整理出来，希望能帮助到大家。由于原文的内容比较多，我们这里分为上下篇，上篇主要讲解关于图生图中局部重绘（Inpainting）。下篇主要是讲ControlNet中的Inpainting。

一. 一个Inpainting的基本示例

在图生图中通过如下设置生成图片。

• 大模型：Realistic Vision V5.1

• 正向提示词：full body, audrey hepburn, black hair, 18 years old, 1940’s, photoshoot, Fujifilm XT3 Viltrox, posing, instagram, happy smile, stand up, ultra detailed, sharp focus, elegant, jewels, urban background, rim lighting, short beige dress, beige kitten-heels, black gloves, pearl tiara, pearls necklace, brilliant pearl earrings, hdr, high contrast, sunlight, , shadows, skin pore, pretty, beautiful, feminine, loving, in love, adorable , fashion, chic, excellence, leg, dress

• 反向提示词：ugly, deformed, nsfw, disfigured

• CFG Scale：7

• 图片宽高：512*768

会生成一些质量较好的图像。但在全身图像中，会经常出现脸部不太正确。

下面我们使用图生图的局部重绘(Inpainting)来修复一下。

图生图相关参数设置如下：

注意：重绘区域选择“仅蒙版区域”，因为我们只想要重新生成被遮罩的区域。

点击【生成】按钮，得到修复后的照片如下（原文中的修复图片）。

我自己操作了一下，生成的照片效果如下（图片进行了高清处理）。

**图片修复机制：**修复与图像到图像类似，在去噪之前将随机噪声添加到潜在空间中的整个图像中。但随机噪声仅添加到修复中的遮蔽区域。

二. 关于Inpainting的相关参数设置

重绘强度（Denoising strength）

重绘强度是修复中最重要的设置。它控制遮罩区域应改变的程度。

作为缩略图的规则，太高的值会导致修复结果与图像的其余部分不一致。值太低可能会导致结果模糊。将重绘强度设置为0.5是一个很好的选择。

重绘区域：整个图片与仅蒙版区域

为什么Stable Diffusion无法正确生成脸部？就是因为人脸太小了。Stable Diffusion v1 的原始分辨率为 512×512 像素。在一个比较低的像素画布上，绘制一个全身图，脸部分配到的像素不够。

仅蒙版区域选项旨在解决此问题。它裁剪掉遮罩区域并使用该区域的整个分辨率。然后它将结果缩放回其原始大小。这样就解决了绘制小脸或物体的问题。

整个图片选项按原样获取输入图片和蒙版，无需裁剪。

仅蒙版区域选项最常见的用例是重新生成更精细的细节面部。这通常会牺牲图像其余部分的一致性，因为您会裁剪掉遮罩区域以进行修复。

如果全局一致性很重要，例如修复背景中的瑕疵，请使用整个图片选项。

修复整个图片并不能修复脸部。

另一方面，在重新生成部分背景时应该修复整个图片。使用仅蒙版区域选项可能会产生如下图所示的伪像。

蒙版区域内容处理

蒙版内容选项指定是否要在修复之前更改蒙版区域的图像。

• 填充(Fill)：替换为遮罩区域的平均颜色。

• 原版(Original)：没有变化。

• 潜空间噪声(Latent noise)：仅随机噪声。

• 空白潜空间(Latent nothing): 无颜色或噪声（全零潜像）

原版是蒙版区域内容处理中最常见的选择。当您想要与原始图像完全不同的东西时，您可能需要使用填充。潜空间噪音和空白潜空间生成的图片常常无法使用。

提示词

使用修复的最有效方法之一是更改遮罩区域的内容。例如，使用生成一致面孔的技术，我将“奥黛丽·赫本”替换为安娜·德·阿玛斯（艾玛·沃特森：0.5）、丽莎·索贝拉诺。

Ana de Armas, (emma watson:0.5), Liza Soberano

三. Inpainting模型

在SD大模型中，有一种专门为修复而设计的SD修复模型。该修复模型与标准模型略有不同。它有 5 个额外的 UNet 输入通道，代表掩模和掩模图像。

修复小补丁时通常不需要使用修复模型。它们用于修复大面积区域。由于更改大模型可能会极大地影响图片风格，因此您应该使用与原始模型相匹配的修复模型。

修复模型可以在高去噪强度下产生更高的全局一致性。请参阅下面的图片。用原始模型和修复模型修复了图像的下半部分。（重绘强度设置为1）

在使用修复模型时报如下错误：RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 1 but got size 2 for tensor number 1 in the list.

您可以在“设置”功能菜单界面上选择“Optimization”菜单，将”Negative Guidance minimum sigma”设置为 0。

好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除文章来源于互联网:Stable Diffusion【进阶篇】：Inpainting完整指南（上）

相关推荐: 基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)

基于LLaMA-Factory，用4个V100的GPU，如下命令训练ChatGLM3： deepspeed –num_gpus 4 –master_port=9901 src/train_bash.py –deepspeed ds_config.json…