我的天！这个 Stable Diffusion 新模型换脸效果真不错！

ControlNet 是 Stable Diffusion Web UI 中功能最强大的插件。基于 ControlNet 的各种控制类型让 StableDiffusion 成为 AI绘图工具中最可控的一种。

IP Adapter 就是其中的一种非常有用的控制类型。它不仅能够实现像 Midjourney 一样的“垫图”功能，还能用来给肖像人物换脸。

IP Adapter 的很多老的模型都可以用来换脸，如 Plus Face。然而，IP Adapter不断推出了更新的模型，持续为我们带来惊喜。通过我的亲身测试，我发现新的 Face ID Plus V2 模型在换脸效果上远胜以往。

我尝试将好莱坞女星 Angelina Jolie的脸部特征融合到了由Midjourney 生成的多个图片中，包括一名中世纪女战士、一幅文艺复兴时期的美女肖像，以及一位女王的形象，效果都非常令人满意。

怎么样？效果还不错吧？接下来我来介绍如何在 Web UI 中安装并使用这个模型。

如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)：

https://www.bilibili.com/video/BV16A4m1V7Sq/

准备工作

我们主要利用 Control Net 中的 IP Adapter 来进行换脸，同时使用 OpenPose 保持原图人物的头部姿势。

相对于 Control Net 的其他控制类型，IP Adapter 是后来才有的。如果你的 Control Net 版本较旧，可能需要更新以支持 IP
Adapter 功能。

我们需要下载以下内容：

• Open Pose 模型

• IP-Adapter FaceID Plus V2 模型和 Lora

其中 IP Adapter 用来换脸，Open Pose 用来保持住原图人物的头部姿势。Lora 可以提升面部 ID 的一致性。

这些文件都可以在 Hugging Face 上找到，接下来我将介绍如何下载和安装。

💡本文介绍的模型在这个云平台上可以直接使用，不需要自己下载模型。这是该云平台的详细介绍：

玩 Stable Diffusion
没有好显卡？试试秋叶大佬推荐的云平台

下载模型和Lora

获取 Open Pose 模型

1️⃣ 首先，访问 HuggingFace 网页
(https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main)，定位到 Control Net
模型的下载页面。这里列出了所有 Control Net 的基础模型及其配置文件。

2️⃣ 在页面中向下滚动，搜索包含“Open Pose”关键词的文件。

3️⃣ 你会发现有两种文件类型：以 .pth 结尾的是模型文件，而以 .yaml 结尾的则是模型的配置文件。通常，.yaml 配置文件已经在
Control Net 安装时包含在内，因此我们主要关注的是下载 .pth 结尾的模型文件。

4️⃣ 点击下载按钮开始下载所需的 .pth 文件。

5️⃣ 下载完成以后，放在 stable-diffusion-webuiextensionssd-webui- controlnetmodels文件夹。

下载 IP Adapter 需要的 Face ID 模型和 Lora

1️⃣ 继续访问另一个HuggingFace 下载页面 (https://huggingface.co/h94/IP-Adapter-
FaceID/tree/main)，寻找 IP Adapter Face ID Plus sd15 和 sd15 lora 文件。这些文件专为 sd 1.5
的模型设计，提供了良好的性能和对 Control Net 其他控制类型的支持。

2️⃣点击下载按钮，开始下载这些文件。注意，sd15 代表这些文件适用于 sd 1.5 版本的模型，而不是 sdxl 版本。

3️⃣Lora 文件特别用于提升面部 ID 的一致性，对于提高换脸效果的自然度非常关键。

4️⃣下载完成以后，以.bin结尾的模型文件放在 stable-diffusion-webuiextensionssd-webui- controlnetmodels文件夹。

5️⃣ 以.safetensors结尾的Lora文件放在 stable-diffusion-webuimodelsLora文件夹。

🚩如果因为网络问题无法下载，这是模型的百度网盘下载链接：https://pan.baidu.com/s/1X70Uu79L8Ikb9ioUzFVwPQ?pwd=hu1b

🚩这是Lora的百度网盘链接：https://pan.baidu.com/s/1HddyA1w3GjukyOMArVq5nQ?pwd=fob0

安装 InsightFace

如果你在使用FaceID的过程中可能会遇到终端提示No module named 'insightface'的错误，如下图所示。

这时候你需要安装 InsightFace。Stable Diffusion 很多换脸的插件都会用到它，比如 Reactor。

GitHub 上有个 Issue
(https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/162)专门讨论这个问题。用户MMoneer给出了如下解决方案：

1️⃣下载预编译的 Insightface
软件包，如果Python版本为3.10，那么下载地址是：(https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl)。Python
3.11版本的下载地址是：https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp311-cp311-win_amd64.whl。如果因为网络问题无法下载，这是百度网盘下载链接：https://pan.baidu.com/s/1ng_i3fEjHsTCFG0E_OE8vA?pwd=5pmq。

2️⃣下载后将其放入 stable-diffusion-webui 的根文件夹（”webui-user.bat “文件所在文件夹）

3️⃣在 WebUI的根目录分别运行CMD和.venvScriptsactivate。

4️⃣ 升级一下Pip：python -m pip install -U pip。

5️⃣取决于你的Python版本，运行下面两个代码的其中一个：pip install
insightface-0.7.3-cp310-cp310-win_amd64.whl (对于3.10) 或者 pip install
insightface-0.7.3-cp311-cp311-win_amd64.whl (对于3.11)。

换脸实操

在开始换脸操作之前，准备工作是必不可少的。这不仅包括了模型的下载和安装，也涉及到被换脸图片的预处理。接下来，我会详细介绍从准备头像到在 Web UI
中进行换脸的整个流程。

准备头像

1️⃣选择了好莱坞明星 Angelina Jolie 的头像作为换脸的源图片。但发现原图偏亮，这可能会导致换脸后的图像在脸部区域过亮。

2️⃣为了解决这个问题，我使用 PS 对头像的亮度进行了调整，将其降至平均水平，并对脸部的高光区域进行了调暗处理。

选择模型

1️⃣图片处理完毕后，进入 Stable Diffusion 的 Web UI 界面。

2️⃣在这里，需要选择一个适合进行写实风格生成的 SD 1.5 模型。我个人选择的是 cyber realistic
模型，但大家可以根据自己的需求选择其他模型，比较不同模型的效果。

3️⃣在提示词区域暂时不输入任何内容，直接转向我们之前下载的 Lora 文件，这个文件用于增强脸部的一致性。

4️⃣ 点击“Lora”选项，选择我们下载的 face_id_plus_v2_sd15_lora 文件。选中后，Lora 将会被添加到提示词输入框中。

5️⃣接着，通过按住 Ctrl 键并使用向下方向键，调整 Lora 的权重，建议设置在 0.5 到 0.7 的范围内。

局部绘制设置

1️⃣接下来的步骤是点击“局部绘制”选项，这一功能允许 Stable Diffusion 专注于重绘特定的面部区域。

2️⃣上传想要被换脸的图片，然后使用画笔工具在人物的脸部区域进行标记。为了更好地实现融合效果，标记的区域可以适当大一些。

通过上述步骤，我们完成了换脸操作的所有准备工作，包括头像的预处理和在 Web UI 中的设置。下一步，我们将进入实际的生成过程，利用 Stable
Diffusion 的强大功能，为 Angelina Jolie 创建全新的面孔。

局部重绘的参数设置

进行局部重绘时，正确的参数设置可以显著提升换脸效果的自然度和细节。以下是详细的参数调整指南：

• 蒙版模糊度 ：增加蒙版模糊度有助于减少换脸后图像中可能出现的生硬接缝。这一步骤是为了确保脸部与原图更加平滑地融合。

• 采样方法 ：选择与写实模型相匹配的采样方法，以便生成的图像贴合预期风格。

• 采样步数 ：适当增加采样步数可以改善生成图像的质量，使细节更加丰富和精确。

• 宽度和高度 ：保持与原图相同的宽度和高度，以确保图像的一致性。

• 提示词引导系数 ：设置在6到8之间，以平衡图像内容与生成的一致性。

• 重绘强度 ：调整到0.4-0.6之间，控制重绘区域的强度，以达到理想的换脸效果。

设置第一个ControlNet: IP-Adapter

接下来是 IP-Adapter 的配置，这一步骤确保了换脸操作可以准确地识别和应用面部特征。

1. 启用 Control Net ：在 Web UI 中找到 Control Net 设置并展开，勾选“启用”选项。

2. 完美匹配像素 ：选择此项以提高生成图像的精确度。

3. 上传独立控制图像 ：点击上传区域，从文件浏览器中选择 Angelina Jolie 的头像作为控制图像。

4. 选择控制网络类型 ：在“控制网络类型”选项中选择 IP Adapter。

5. 预处理和模型选择 ：确保预处理选择为“ip_adapter_face_id_plus”，并选择相应的“ip_adapter_face_id_plus_v2_sd”模型。这一步骤关键在于保证预处理器与模型相匹配，以免 IP Adapter 功能失效。

6. 预览效果 ：点击形状像爆炸一样的按钮，预览 IP Adapter 的效果，确认没有问题。

设置第二个 Control Net: OpenPose

在完成了首个 Control Net 的配置后，我们进入到设置第二个 Control Net 的步骤，这次是为了利用 OpenPose
保持人物头部姿势的自然和一致性。这一步骤对于确保换脸后的图像在姿势上与原始图像保持一致非常关键。

1. 启用 Control Net Unit 1 ：在 Web UI 中找到并展开“Control Net Unit 1”的设置部分，确保勾选“启用”以激活此单元。

2. 上传独立控制图像 ：点击上传区域，从文件浏览器中选择要被换脸的图片作为控制图像。

3. 选择控制网络类型为 Open Pose ：在“控制网络类型”中选择 OpenPose，这是为了捕捉并保持原始人物的头部姿势。

4. 预处理和模型选择 ：对于预处理，选择最基础的“openpose”选项。对于模型，选择与 Open Pose 相关的“sd15 openpose”模型。

5. 预览 Open Pose 效果 ：点击预览按钮（形状像爆炸一样的图标），查看 OpenPose 的效果，确保骨骼图正确生成，没有问题。

生成图片

完成两个 Control Net 的设置之后，我们准备好生成最终的图片了：

• 向上滚动页面，找到并点击“Generate”按钮开始生成过程。

• 等待过程完成，你将看到换脸效果呈现出来，其中包括面部的角度和光线的自然融合。

结果评估与调整

• 生成的图像中，Angelina Jolie 的特征——如弯曲的睫毛、蓝绿色的眼睛和性感的嘴唇——都得到了精准的呈现。

• 如果在最终的图像中仍存在一些细微的问题，我们可以使用 Photoshop 进行进一步的调整，以达到完美的效果。

通过细心配置 Open Pose 和 IP Adapter 的 Control
Net，我们能够确保换脸效果不仅在视觉上令人满意，而且在姿势和表情上也与原图保持高度一致，从而实现了高质量的换脸效果。

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

———–

• GPT的定义与概述
• GPT与其他AI对比区别
• GPT超强记忆力体验
• 万能GPT如何帮你解决一切问题？
• GPT表达方式优化
• GPT多类复杂应用场景解读
• 3步刨根问底获取终极方案
• 4步提高技巧-GPT高情商沟通
• GPT深度玩法应用场景
• GPT高级角色扮演-教学老师
• GPT高级角色扮演-育儿专家
• GPT高级角色扮演-职业顾问
• GPT高级角色扮演-专业私人健身教练
• GPT高级角色扮演-心理健康顾问
• GPT高级角色扮演-程序UX/UI界面开发顾问
• GPT高级角色扮演-产品经理
• GPT高级技巧-游戏IP角色扮演
• GPT高级技巧-文本冒险游戏引导
• GPT实操练习-销售行业
• GPT实操练习-菜谱推荐
• GPT实操练习-美容护肤
• GPT实操练习-知识问答
• GPT实操练习-语言学习
• GPT实操练习-科学减脂
• GPT实操练习-情感咨询
• GPT实操练习-私人医生
• GPT实操练习-语言翻译
• GPT实操练习-作业辅导
• GPT实操练习-聊天陪伴
• GPT实操练习-育儿建议
• GPT实操练习-资产配置
• GPT实操练习-教学课程编排
• GPT实操练习-活动策划
• GPT实操练习-法律顾问
• GPT实操练习-旅游指南
• GPT实操练习-编辑剧本
• GPT实操练习-面试招聘
• GPT实操练习-宠物护理和训练
• GPT实操练习-吸睛爆款标题生成
• GPT实操练习-自媒体爆款软件拆解
• GPT实操练习-自媒体文章创作
• GPT实操练习-高效写作推广方案
• GPT实操练习-星座分析
• GPT实操练习-原创音乐创作
• GPT实操练习-起名/解梦/写诗/写情书/写小说
• GPT提升工作效率-Word关键字词提取
• GPT提升工作效率-Word翻译实现
• GPT提升工作效率-Word自动填写、排版
• GPT提升工作效率-Word自动纠错、建议
• GPT提升工作效率-Word批量生产优质文章
• GPT提升工作效率-Excel自动化实现数据计算、分析
• GPT提升工作效率-Excel快速生成、拆分及合并实战
• GPT提升工作效率-Excel生成复杂任务实战
• GPT提升工作效率-Excel用Chat Excel让效率起飞
• GPT提升工作效率–PPT文档内容读取实现
• GPT提升工作效率–PPT快速批量调整PPT文档
• GPT提升工作效率-文件批量创建、复制、移动等高效操作
• GPT提升工作效率-文件遍历、搜索等高效操作
• GPT提升工作效率-邮件自动发送
• GPT提升工作效率-邮件自动回复
• GPT接入QQ与QQ群实战
• GPT接入微信与微信群实战
• GPT接入QQ与VX多用户访问实战
• GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

• ———–
  AI绘画定义与概述
• AI绘画的应用领域
• AI绘画与传统绘画的区别
• AI绘画的工具分类介绍
• AI绘画工具-Midjourney
• AI绘画工具-百度文心一格
• AI绘画工具-SDWebUI
• AI绘画工具-Vega AI
• AI绘画工具-微信中的AI绘画小程序
• Midjourney学习-Discord账号的注册
• Midjourney Bot界面讲解
• Midjourney提示词入门
• Midjourney高级提示词
• Midjourney版本参数学解读
• Midjourney功能参数
• Midjourney上采样参数
• AI绘画组合应用1-Midjourney + GPT
• AI绘画组合应用2-Stable Diffusion + GPT
• AI绘画组合应用3-AI绘画+ GPT +小红书
• AI绘画组合应用4-AI绘画+ GPT +抖音
• AI绘画组合应用5-AI绘画+ GPT +公众号
• AI绘画组合应用6-AI绘画+ GPT + AI视频
• AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
• AI绘画设计-Logo设计
• AI绘画设计-套用万能公式
• AI绘画设计-引用艺术风格
• AI绘画设计-GPT加速设计方案落地
• AI绘画设计-Vega AI渲染线稿生成设计
• AI绘画设计-摄影
• AI绘画设计-头像设计
• AI绘画设计-海报设计
• AI绘画设计-模特换装
• AI绘画设计-家具设计
• AI绘画设计-潘顿椅设计
• AI绘画设计-沙发设计
• AI绘画设计-电视柜设计
• AI绘画设计-包装设计的提示词构思

第三阶段（30天）：AI-视频高段位

恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• ———–
  AI视频定义与概述
• AI视频制作-方案与创新
• AI视频制作-各种工具实操
• AI视频制作-美学风格(油画/插画/日漫/水墨)
• AI视频制作-形象设定(人物形象服装/造型/表情)
• AI视频画面特效处理
• AI视频画面拼接
• AI视频画面配音
• AI视频画面包装
• AI视频锁定人物逐一精修
• 多种表情动作/情节
• 动态模型转换-视频内部元素关键帧
• 动态模型转换-图像整体运动
• 动态模型转换-虚拟人
• 动态模型转换-表面特效
• AI自媒体视频-深问GPT，获取方案
• AI自媒体视频-风格设置(诗歌/文言文等)
• AI自媒体视频-各行业创意视频设计思路
• AI视频风格转换
• AI视频字数压缩
• AI视频同类型衍生
• AI视频Pormpt公式

第四阶段（20天）：AI-虚拟数字人课程

• ———–
  AI数字人工具简介
• AI工作台界面功能展示及介绍
• AI数字人任务确定
• AI数字人素材准备
• AI知识、语料的投喂
• AI模型训练
• AI训练成果展示及改进
• AI数字人直播系统工具使用
• AI人物在各平台直播
• AI数字人在OBS平台直播

第五阶段（45天以上）：AIGC-多渠道变现课程

该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

———–

• AI-小红书引流变现
• AI-公众号引流变现
• AI-知乎引流变现
• AI-抖音引流/带货变现
• AI-写作变现
• AI-B站引流变现
• AI-快手引流变现
• AI-百家号引流变现
• AI-制作素材模板出售变现
• AI-周边定制变现
• AI-手机壳图案定制变现
• AI-周边产品定制变现
• AI-服装图案定制变现
• AI-个性头像定制变现
• AI-起号与知识付费变现
• AI-实现淘宝销售变现

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好，需要的点击下方二维码，即可前往免费领取！

文章来源于互联网:我的天！这个 Stable Diffusion 新模型换脸效果真不错！

相关推荐: AIGC 领域 AI 写作对编剧行业的影响与变革

AIGC 领域 AI 写作对编剧行业的影响与变革 关键词：AIGC、AI 写作、编剧行业、影响、变革 摘要：本文深入探讨了 AIGC 领域的 AI 写作对编剧行业所产生的影响与变革。首先介绍了相关背景，包括 AIGC 和编剧行业的现状。接着阐述了 AI 写作和…