Stable Diffusion ComfyUI 基础教程（八）如何使用 Controlnet

终于到了最激动人心的时刻，我们使用 Stable Diffusion 最重要的就是他的可控性，其中 Controlnet（控制网络）的作用居功至伟，它可以引入更多的条件来让我们出图更加可控。
在最开始之前我们需要安装 Controlnet 预处理器插件以及下载 Controlnet 模型：
Controlnet 预处理器插件：
插件地址： https://github.com/Fannovel16/comfyui_controlnet_aux.git
如果安装后，运行 ComfyUI 显示无法导入插件，请运行“ComfyUIcustom_nodescomfyui_controlnet_aux”目录下的“install.bat”文件
Controlnet 模型：
常用模型我会放在本节课文件链接里面；
模型存放位置在: “ComfyUI_windows_portableComfyUImodelscontrolnet”目录下，如果你是和 Web UI 共用的模型，那就要看你第一节课设置的是插件下的还是 “models” 下的位置了。

创建流程：

需要有哪些操作：

为了能让大家更直观的了解使用 Controlnet 需要有哪些操作，我先以 Web UI 上的 Controlnet 为例：

我们可以看到在使用 Controlnet 插件时，需要我们加载图像、选择预处理器、加载 Controlnet 模型，以及控制权重、控制引导介入时机、控制引导终止时机；
好了，开始正题，我们还是以“万能的文生图”为基础，先打开“文生图基础流程”，我们这个基础上把 Controlnet 流程加进去。

预处理器：

Controlnet 预处理器分有很多，比如：线条、面部与姿态、法向与深度、语义分割、颜色、Tile平铺等多个类型，并且每个类型又有多个预处理器，我们先以线条中的 Canny细致线预处理器为例，后面我会分别介绍他们有什么作用，以及怎么使用；
先“右键-新建节点-图像-加载图像”去加载图像，这个应该都会了吧。然后我们再去选择 Controlnet 预处理器，“右键-新建节点-Controlnet预处理器-线条-Canny细致线预处理器”

这一步是我们预处理器最重要的地方，我们可以把“加载图像”与“预处理器进行连接”，并且在右侧连接一个“预览图像”，然后跑一下，看看效果。

可以看到，我们的图片已经被处理成黑底白色的线稿，这个线稿就是我们使用 Controlnet 之前的必备条件；
当然，如果我们有已经处理好的图片，我们就可以省略“预处理器”这一步，直接进行下一步就可以了。

Controlnet：

图片已经处理好了，我们这时候就需要去加载选择 Controlnet 模型的节点，以及用来进行权重控制的节点；
“右键-新建节点-Controlnet加载器”

“右键-新建节点-条件-Controlnet应用”，这时候我们会看到两个 Controlnet应用节点，分别是 Controlnet应用、Controlnet应用（高级）：

强度：就是我们用来控制权重的，还记得上节课 Lora 权重的控制吗，是一个意思；
开始时间：我们在绘图时，Controlnet 什么时候进行控制；
结束时间：我们在绘图时，Controlnet 什么时候结束控制；
相比较，Controlnet应用只能用来控制权重，开始/结束时间采用默认0/1。另外 Controlnet应用（高级）需要去连接负面关键词。我们根据自己的使用选择就可以，我一般使用 Controlnet应用（高级）；

工作流：

我们使用 Controlnet 所需要的节点都已经加载出来了，我们把他们连接起来，并添加到“文生图基础流程”中；
我们把“预处理器”处理好的图像以及“Controlnet加载器”分别连接到“Controlnet应用”；
选择 Controlnet 模型，这时候我们一定要选择对应功能、对应版本的模型：
比如我们用的 Canny 预处理器，那我们就要选择 Canny 的 Controlnet 模型（我会在挨个介绍预处理器的时候给大家讲解，他们分别对应哪些模型）；
我们出图采用的是 SD1.5 的大模型，那我们就要去选择 SD1.5 的 Controlnet 模型；
我给大家演示用的是 SD1.5 的大模型，那我就选择了“control_v11p_sd15_canny”这个模型。
“正/反CLIP文本编码器”连接“Controlnet应用”，“Controlnet应用”连接“K采样器”

我们可以看到我通过一个二次元大模型以及关键词控制后，得到一张相同细节的二次元图像。

多个Controlnet如何连接：

大家学习 ComfyUI 有段时间了，应该能猜到多个 Controlnet
怎么连接吧，我们在“Controlnet应用”后面再串联个“Controlnet应用”就可以了，其余的该连 Controlnet 模型的连模型，该连
Controlnet
预处理器的连预处理器。

后续课程规划：

到这我们的 ComfyUI 基础教程就已经结束，在接下来的课程中我会带给大家带来更精深的课程，比如：
Controlnet 各种预处理器以及模型的详细讲解；
如何使用“LCM模型&Turbo模型”进行快速出图和实时绘图；
如何使用 AnimateDiff 插件生成视频动画；
如何使用 Stable Video Diffusion 模型进行图生视频；
如何使用 Stable Zero 123 模型生成多角度图像并生成视频。

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

———–

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

———–
AI绘画定义与概述
AI绘画的应用领域
AI绘画与传统绘画的区别
AI绘画的工具分类介绍
AI绘画工具-Midjourney
AI绘画工具-百度文心一格
AI绘画工具-SDWebUI
AI绘画工具-Vega AI
AI绘画工具-微信中的AI绘画小程序
Midjourney学习-Discord账号的注册
Midjourney Bot界面讲解
Midjourney提示词入门
Midjourney高级提示词
Midjourney版本参数学解读
Midjourney功能参数
Midjourney上采样参数
AI绘画组合应用1-Midjourney + GPT
AI绘画组合应用2-Stable Diffusion + GPT
AI绘画组合应用3-AI绘画+ GPT +小红书
AI绘画组合应用4-AI绘画+ GPT +抖音
AI绘画组合应用5-AI绘画+ GPT +公众号
AI绘画组合应用6-AI绘画+ GPT + AI视频
AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
AI绘画设计-Logo设计
AI绘画设计-套用万能公式
AI绘画设计-引用艺术风格
AI绘画设计-GPT加速设计方案落地
AI绘画设计-Vega AI渲染线稿生成设计
AI绘画设计-摄影
AI绘画设计-头像设计
AI绘画设计-海报设计
AI绘画设计-模特换装
AI绘画设计-家具设计
AI绘画设计-潘顿椅设计
AI绘画设计-沙发设计
AI绘画设计-电视柜设计
AI绘画设计-包装设计的提示词构思

第三阶段（30天）：AI-视频高段位

恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

———–
AI视频定义与概述
AI视频制作-方案与创新
AI视频制作-各种工具实操
AI视频制作-美学风格(油画/插画/日漫/水墨)
AI视频制作-形象设定(人物形象服装/造型/表情)
AI视频画面特效处理
AI视频画面拼接
AI视频画面配音
AI视频画面包装
AI视频锁定人物逐一精修
多种表情动作/情节
动态模型转换-视频内部元素关键帧
动态模型转换-图像整体运动
动态模型转换-虚拟人
动态模型转换-表面特效
AI自媒体视频-深问GPT，获取方案
AI自媒体视频-风格设置(诗歌/文言文等)
AI自媒体视频-各行业创意视频设计思路
AI视频风格转换
AI视频字数压缩
AI视频同类型衍生
AI视频Pormpt公式

第四阶段（20天）：AI-虚拟数字人课程

———–
AI数字人工具简介
AI工作台界面功能展示及介绍
AI数字人任务确定
AI数字人素材准备
AI知识、语料的投喂
AI模型训练
AI训练成果展示及改进
AI数字人直播系统工具使用
AI人物在各平台直播
AI数字人在OBS平台直播

第五阶段（45天以上）：AIGC-多渠道变现课程

该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

———–

AI-小红书引流变现
AI-公众号引流变现
AI-知乎引流变现
AI-抖音引流/带货变现
AI-写作变现
AI-B站引流变现
AI-快手引流变现
AI-百家号引流变现
AI-制作素材模板出售变现
AI-周边定制变现
AI-手机壳图案定制变现
AI-周边产品定制变现
AI-服装图案定制变现
AI-个性头像定制变现
AI-起号与知识付费变现
AI-实现淘宝销售变现

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好，需要的点击下方二维码，即可前往免费领取！

文章来源于互联网:Stable Diffusion ComfyUI 基础教程（八）如何使用 Controlnet

相关推荐: 速通BOSS需求！零基础AI Agent高效工作流设计指南

此次会连载一套 AI-Agent 构建的系列，主要分为三部分，首先是速通 AI-Agent 构建的工作流基础，然后是通过 ComfyUI 作为案例来复盘如何快速上手工作流平台，最后则是借助 Agent 平台构建一个 AI Agent 案例，本系列意图主要是帮助…