stable diffusion无限贴近真人的调教方法，助力AI变现（下）

对于人像，我的研究重点主要是如何让脸更贴近原图。这篇文章就通过一些专题的实践，讲讲我对还原人脸的一些出图思路、技巧和心得，会从出图思路、优化方向出发，逐步拆解，希望能给大家带来启发。

本篇的重点内容有：

如何根据一张图像还原人脸？

如何使用 stable diffusion 完成脸部相似的真人转漫画？

如何快速搭建一个可用的人脸 lora ？

如何基于模板照片换脸？

如何借助 SDXL 的能力出创意写真？

四、真人转动漫

一）出图思路

目前真人转动漫也有几个思路，一个是直接利用线稿，选择相关风格的模型去出图，这样参考的就是原图的整个构图形式，局限性比较大，且对脸部只是近似的还原，不一够形似。

那怎么使漫画的脸更像真人呢？这个可不能拿真人脸去 roop 哈，不然就是这样：

你可以训练 lora ，让模型学会你脸部的特征，再配合模型出图，可以指定画面元素，不过需要数十张照片去练模型，成本高一点。

还有个省事的方法，利用 controlnet 相关模型去参考脸部特征，一张解决问题。

下面结合几个具体案例，讲一讲出图流程。

测试时使用一个皮克斯模型 https://tusiart.com/models/611691394094059626

二）线稿出图

线稿出图，需要最大程度还原整个画面的内容，因此需要进行tagger反推。

在控制方面，只需要输入一张图像到 controlnet ，开启线稿模式即可。

tag 是否贴近画面的对比：

这种方法在出图尺寸、画面修改上略有受限。

三）一张人脸参考出图

使用 controlnet 的 IP Adapter 模型，选择 sd15face ，这个就能最大程度得去参考脸部特征，把你的发型都能还原地差不多，而且不需要考虑原图像的尺寸。

只参考脸部和发型特征，选用 face-sd15 即可。这时候不写原画面提示词，模型只保留你的头部特点，其他都可以变化。

当然也可以选用 ip-adapter_sd15_plus 这个模型，它能把背景和人的穿着都参考到，最大程度还原，ip-adapter_sd15 不如 plus 准确。

不过，我测试过好多图像，如果想还原发型和表情，还是 face-sd15 最准确，其他的发型不如这个还原。

可使用这个控制方式时，可以自己尝试调整控制权重，根据出图找到自己喜好的阈值就可以。

这种方法就不受线稿的限制，可以变换姿势。

这样绝对是比 MJ 更加可控、更加像的，有做定制头像的，可以用这个方法去出图。

1、其他玩法：利用 IP Adapter 固定人脸

现在IP Adapter越来越强大，虽然对于真人图无法百分百还原人脸，但是能作为一个固定角色的方式。

比如，我针对SD1.5模型和SDXL模型，使用IP Adapter模型做了实验：

SDXL模型，推荐使用plus face sdxl vit-h模型出图。

SD1.5模型，推荐使用plus face sd15模型出图

2、实践：利用 IP Adapter 快速搞定动漫、手办图

使用IP Adapter方法可一键参考人脸，做手办摆台效果：

大模型：majicMIX realistic 麦橘写实_v6

手办lora：LiblibAI·哩布哩布AI – 中国领先的AI创作平台

只需要一个IP Adapter控制

上述是 SD1.5 模型，所以选择 1.5 版本的 IPA face模型

注意预处理器、模型选择，控制权重根据效果调整。

提示词部分，注意此lora有个摆台的触发词：

best quality, shouban, chibi, girl, full body, faux figurine,

文章来源于互联网:stable diffusion无限贴近真人的调教方法，助力AI变现（下）

相关推荐: Stable Diffusion 崩脸修复神器！为什么你出的全身照脸部总是惨不忍睹

我们用stable diffusion生成人物图片的时候，可能经常会遇到脸崩的情况，今个儿给大家分型一个超强修复烂脸的插件adetailer，这个插件可以有效改善脸崩的情况。（插件获取方式：文末扫码） 一 ADetailer 介绍 After Detailer…