Stable Diffusion零基础从入门到入土（保姆级教程）

最近一直在整合和AI相关的一些资源，接下来我打算做stable diffusion（以后简称SD）
的系统课，目的是改善国内课程体系不完善的情况，这是现在的一个重中之重的问题，因为我发现网络上对于stablediffusion的相关课程都是各有千秋，但是又很难做到由点到线，由线及面的全方位的覆盖。对于高级一点的课程，我们只能通过阅读大量的国外的文章和教程一点点的去摸索，可能需要实验很多次才能达到理想的效果。对于入门一些的课程，网上资源虽然很多，但又过于零散，相对一些纯小白十分的不友好。很难不发现，至今仍有人再走我们走过的弯路，重复着我们的痛苦，比如基础教程中的软件安装到进阶教程中的dreambooth模型训练。可以说，很多人是根本不懂电脑上的一些操作，更别说涉及到原理的什么AI算法、各种参数。只能盲人摸象在这个坑里越陷越深投入了大量的时间却得不到回报。

本教程首先通过最基本的软件的安装和使用，由浅入深的进行讲解，其次通过对模型的讲解，主要让大家了解必要的神经网络、SD模型炼制的基本原理。用最通俗易懂的语言帮助大家理解这些原理，从而高效的进行学习、研究。然后我还会讲解
dreambooth、Lora、embedding的各种参数以及训练的方法。有些同学可能看到这些名词已经开始头疼了，看到这些晦涩难懂的名词甚至想要放弃了。阿钛老师在这里给大家打个预防针，既然大家决定来学这门课程，就一定要抱有必胜的信心。首先，涉及高等数学、线性代数、编程写代码的专业知识咱们不回去深入研究，其次不管你是学生、文职工作、美术相关专业、还是其他的不想关的专业、又或者那你是老板、投资人又不懂计算机，只要大家跟着我的这个课程一步一步的走，就一定能基本掌握其中的基本原理。给大家讲个亲身经历，我的弟弟是学体育专业、他看我一直在研究这个东西，就想跟我学，现在人家已经开始在教同学玩这个了。咱们以前经常开玩笑说人家数学不好就说，你数学是体育老师教的吧！可现在来看，体育老师不止会教数学哈。扯远了，扯远了。说这个主要想表达什么的就是说，咱们体育专业可以说跟这个AI绘画是没有什么太大的关系，你要非说有，那倒也能说出一些，咱们不去深究。既然咱们这么不相干的专业都能掌握这门技术，所以大家更应该充满信心去学习这门课程。

通过通俗易懂的语言和一系列相关的案例去讲解这些原理和参数，目的在于能够让大家快速的构建知识体系，确保绝大多数人不掉队都能赶上 A I这趟快车，不会去深入研究专业的知识体系，所以大家不要纠结我讲的专业知识的深度太浅，如果想吐槽，那我也欢迎。

一、Stable Diffusion简介：

Stable Diffusion 是由 Comp Vis、Stability AI 和 LAION 共同开发的一个文本转图像模型，它通过 LAION-5B子集大量的 512×512 图文模型进行训练，我们只要简单的输入一段文本，Stable Diffusion
就可以迅速将其转换为图像，它的特点是可以控制生成过程中的随机性和多样性，以及使用不同的采样器来优化生成效果。

起初Stable Diffusion被一个叫 Anlatan的公司用在他们的NovelAI这个项目上。NovelAI是一个AI辅助小说创作平台，Stable
Diffusion模型用于根据小说内容生成插图，是该公司的内部项目并未开源。但是该模型原始的机器学习训练数据来源与各个网络的免费资源，该公司却将其用于他们的付费服务，该行为一度引起争议。

2022年10月6日，NovelAI发生了一起数据泄露，其服务源代码被泄露。泄露原因不明，传闻NovelAI服务器采用了弱密码，导致黑客攻击，模型数据被泄露。之后NovelAI被迫开源，逐渐在圈内火爆起来。

Stable Diffusion WebUI（Automatic1111）是一个图形化界面，可以让我们方便地使用Stable
Diffusion来进行文本到图像（txt2img）和图像到图像（img2img）的转换。它提供了丰富的功能和设置选项，例如：

文本反转：根据图像输入，生成描述该图像的文本输出
文本加权和负文本：通过在文本中添加括号或减号，来增加或减少对某些词语的关注度
图像编辑：可以使用遮罩和裁剪功能，来对图像进行局部修改或重绘
图像增强和放大：可以使用GFPGAN和realESRGAN等技术，来提升图像的清晰度和分辨率
生成预览：可以实时观察生成过程中的图像变化
提示矩阵：可以使用竖线分隔多个文本输入，来生成多个图像输出的组合
词语种子：可以使用词语代替数字作为种子，来控制生成结果的随机性

这些基于 Stable Diffusion封装的Web Ui 开源项目，可以通过界面交互的方式来使用 Stable
Diffusion。当然，国内也有很多大佬封装了很便利的傻瓜式整合包比如：秋叶一键整合包、星空一键整合包等…极大的降低了使用门槛。本文将以秋叶一键整合包为例进行教学讲解，带您逐步去了解AI绘画。

Stable Diffusion简单应用示例：（TxT2Img）

Prompt: 
	In a cyberpunk city, a police car is on the street, raining, light effect, Simon Stalenhag, Ian McQue, Ghibli Studio, Beeple, Kaino University
	在一个赛博朋克城市中，一辆警车在街上行驶，下着雨，灯光效果非常炫酷。这个场景可能是由Simon Stalenhag、Ian McQue、吉卜力工作室、Beeple或Kaino大学等艺术家或机构创作的。
Prompt: 
	Glowing crystals in the depths of the black valley, Simon Stalenhag, Ian McQue, Ghibli Studio, Beeple, Kaino University, high-definition picture, unreal engine
	黑暗峡谷深处闪耀着晶莹剔透的水晶，这个场景可能是由Simon Stalenhag、Ian McQue、吉卜力工作室、Beeple或Kaino大学等艺术家或机构创作的。这幅高清晰度的图片可能是使用虚幻引擎制作的。
Prompt: 
	A silver mech horse running in a dark valley, in the night, Beeple, Kaino University, high-definition picture, unreal engine, cyberpunk.
	一匹银色机械马在黑暗的峡谷中奔跑，夜晚里闪耀着光芒。这个场景可能是由Beeple或Kaino大学等艺术家或机构创作的。这幅高清晰度的图片可能是使用虚幻引擎制作的，属于赛博朋克风格。


  * 1
  * 2
  * 3
  * 4
  * 5
  * 6
  * 7
  * 8
  * 9

二、Stable Diffusion的工作原理：

维基百科中的解释是：“Stable
Diffusion由3个部分组成：变分自编码器（VAE）、U-Net和一个文本编码器。与其学习去噪图像数据（在“像素空间”中），而是训练VAE将图像转换为低维潜在空间潜在空间。添加和去除高斯噪声的过程被应用于这个潜在表示，然后将最终的去噪输出解码到像素空间中。在前向扩散过程中，高斯噪声被迭代地应用于压缩的潜在表征。每个去噪步骤都由一个包含残差神经网络（ResNet）中坚的U-
Net架构完成，通过从前向扩散往反方向去噪而获得潜在表征。最后，VAE解码器通过将表征转换回像素空间来生成输出图像。”

三、安装与使用 Stable Diffusion ：

（一）Stable Diffusion web ui的部署主要有两种：

1、本地部署

2、云端部署

（二）如何判断自己得电脑性能是否能够流畅运行SD

Stable Diffusion是一个开源项目，完全免费，如今可以实现本地部署，在个人电脑上运行Stable Diffusion 。

虽然在本地运行的门槛虽然降低了很多，但是本地部署对电脑的配置是有一些要求的，接下来就讲一讲如何判断自己的电脑能不能使用SD web ui 。

    （1）、首先在---任务栏，点击---鼠标右键，点击打开---任务管理器


  * 1

（2）、打开任务管理器后，点击顶部菜单栏中的—性能，打开性能界面

（3）、点击下方 GPU 一栏。

第一步：查看这个位置的名字是否为 NVIDIA 开头，也就是我们所说的N卡、英伟达显卡，如果是AMD的显卡的话，那你使用SD
可能有些困难，建议您更换英伟达显卡的电脑或设备。

第二步：查看这一栏专用GPU内存中的两个数字，图中为 3.6/24.0GB 如果后面一个数字最小值建议大于等于4，如果低于4，
那么您的设备可能运行SD会非常的困难。流畅使用，没有训练模型的需求，建议8GB。如需升级建议你找专业人士升级配置。

（4）、点击内存这一栏；

第一步：点击内存栏

第二步：查看这个位置的数值大小，最小值建议为8GB，流畅使用建议32GB，如果小于8建议你找专业人士升级配置。

（5）、查看自己显卡在SD绘图中的性能可以参考下图(以下统计数据由国外大神测试制作，仅为Windows系统下测试结果，理论上Linux系统性能更优，但考虑到大多数同学的操作系统为windows，所以不对Linux下的SD作介绍)

原文链接：各型号显卡出图能力参考表

（6）、最后避免后期的一些兼容性问题建议您使用windows10、windows11系统以获得稳定的使用效果。（需要重装系统请私信）

（三）开始本地部署之前得前置操作——环境配置

运行环境配置简单来说就是设置SD软件所需要得环境，打个比方，淡水鱼需要用淡水养殖才合适；而海水鱼则需要用海水养殖最为合适。那么对于计算机来说，软件就是鱼，运行环境就是水，用合适得水养合适的鱼，鱼也就能正常生长发育，同理安装了合适的运行环境的计算机，也能够让软件流畅的运行。那么，我们该如何检查或安装这个运行环境到我们的电脑呢？

（1）下载整合包

打开下面网盘链接，下载网盘中的“00.Stable Diffusion整合包”

网盘|
—|—
百度网盘|
https://pan.baidu.com/s/1Zi5M0MFT2kJ9rcDPreE8_Q?pwd=8888
提取码：8888|
123云盘|

1.下载完后打开下载文件的文件夹，找到**.环境搭建.rar**——右键点击——1.环境搭建.rar ——点击解压到1.环境搭建
——等待解压完成。

2.解压完成后文件夹内会出现一个1.环境搭建 文件夹，点击打开——1.环境搭建文件夹 ——获得三个安装包

（2）安装python

双击1-python-3.10.6-amd64.exe ——点击打开第一个安装包——开始安装python

1.如果出现以下界面代表已经安装过python，请查看第一部位置的前两个数字是否为3.10，如果不是，建议执行第二步，点击Uninstall卸载当前版本。如果是3.10.xx
版本则关闭此窗口。

2.如果是第一次安装，则会显示以下界面。点击下方两个方框——勾选Use admin privileges when installing
py.exe 和Add python.exe to PATH 两个选项——然后点击——Customize installation

3.进入可选功能设置Optional Features ——防止出现问题建议勾选所有选项——点击Next 到下一步

4.高级选项设置Advanced Options ——按图中提示勾选相应的

选项后——点击install

5.开始安装——出现进度条——安装完成后出现Setup was successful ——点击Close关闭页面——python安装完成

（3）安装git

双击2-Git-2.39.2-64-bit.exe——打开Git安装包——一直点击Next——直到出现install按钮——点击install——开始安装git——等待安装完成后——点击Finish——关闭页面——GIT安装完成

（4）安装CUDA

按键盘的win+r按键（如图所示）——弹出运行窗口

在弹出的运行窗口内输入cmd——点击确认——弹出一个控制台窗口——输入nvidia-smi ——按键盘Enter 键

出现如下界面后——如图查看这个位置显示的数字——我的是12.1，代表我可以安装的CUDA的最高版本是12.1

复制链接[https://developer.nvidia.com/cuda-toolkit-
archive](https://link.zhihu.com/?target=https%3A//developer.nvidia.com/cuda-
toolkit-archive)到浏览器，推荐用edge浏览器——打开链接（如图）——这里按上一步的提示，我选择的是11.8的版本——点击方框内区域到下一步

如图根据自己的系统选择——1选择电脑系统（一般选windows）——2默认选择x86_64——3选择电脑系统版本（根据自己的系统版本选择，我是win10就点第一个10
）——4选择exe（local） ——5点击Download开始下载CUDA安装包

下载完成后，找到下载的安装包打开——点击ok按钮

弹出NVIDIA安装程序——检查系统兼容性

没问题后会弹出许可协议——直接点击同意并继续

弹出的安装选项，选择自定义，点击下一步

把CUDA选一下，然后一直点击下一步，直到安装完成。

（5）安装VS Code

点击打开文件夹内的第三个安装包3-VSCodeUserSetup-x64-1.68.1.exe ——点击我同意此协议——点击下一步

按图中勾选相应选项——点击下一步

点击安装——等待安装完成后关闭窗口

至此前置运行环境安装完成下面开始安装SD本体软件。

（6）安装SD本体软件

回到从网盘下载的两个压缩包的位置——右键点击第二个压缩包2.绘画文件.rar ——点击解压到2.绘画文件. ——得到2.绘画文件
文件夹

（a）安装启动器运行依赖

点击打开2.绘画文件 文件夹——双击打开启动器运行依赖-dotnet-6.0.11.exe ——安装启动器运行的环境

点击下方安装按钮会自动安装，无需其他操作

显示安装成功后点击下方关闭按钮

（b）解压SD本体文件

找到刚才的2.绘画文件文件夹——点击打开

点击打开novelai-webui 文件夹

右键点击novelai-webui-aki-v3.rar 压缩文件——带年纪解压到novelai-webui-aki-v3
——获得novelai-webui-aki-v3 文件夹——记住这个文件夹的位置

（c）解压sd-webui启动器文件

找到刚才的2.绘画文件文件夹——点击打开

点击sd-webui启动器 文件夹

右键点击sd-webui启动器.zip 压缩文件——点击解压到sd-webui启动器 ——获得sd-webui启动器 文件夹

打开sd-webui启动器 文件夹——右键点击A启动器.exe 文件——点击复制

打开刚才SD本体文件夹novelai-webui-aki-v3 文件夹——在空白处右键点击一下——点击粘贴

点击替换目标中的文件

（d）签署协议

点击打开文件夹内的A用户协议.txt 文件——在最后一行的地方按要求填写我已阅读并同意用户协议
——注意开头和末尾不要有空格空行——填写完后点击右上角关闭——提示是否保存——点击保存

至此，关于SD的运行环境和本体软件都安装完成了。接下来点击打开A启动器 打开软件开始使用。

（四）开始使用

双击A启动器 文件启动SD启动器

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

———–

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

———–
AI绘画定义与概述
AI绘画的应用领域
AI绘画与传统绘画的区别
AI绘画的工具分类介绍
AI绘画工具-Midjourney
AI绘画工具-百度文心一格
AI绘画工具-SDWebUI
AI绘画工具-Vega AI
AI绘画工具-微信中的AI绘画小程序
Midjourney学习-Discord账号的注册
Midjourney Bot界面讲解
Midjourney提示词入门
Midjourney高级提示词
Midjourney版本参数学解读
Midjourney功能参数
Midjourney上采样参数
AI绘画组合应用1-Midjourney + GPT
AI绘画组合应用2-Stable Diffusion + GPT
AI绘画组合应用3-AI绘画+ GPT +小红书
AI绘画组合应用4-AI绘画+ GPT +抖音
AI绘画组合应用5-AI绘画+ GPT +公众号
AI绘画组合应用6-AI绘画+ GPT + AI视频
AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
AI绘画设计-Logo设计
AI绘画设计-套用万能公式
AI绘画设计-引用艺术风格
AI绘画设计-GPT加速设计方案落地
AI绘画设计-Vega AI渲染线稿生成设计
AI绘画设计-摄影
AI绘画设计-头像设计
AI绘画设计-海报设计
AI绘画设计-模特换装
AI绘画设计-家具设计
AI绘画设计-潘顿椅设计
AI绘画设计-沙发设计
AI绘画设计-电视柜设计
AI绘画设计-包装设计的提示词构思

第三阶段（30天）：AI-视频高段位

恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

———–
AI视频定义与概述
AI视频制作-方案与创新
AI视频制作-各种工具实操
AI视频制作-美学风格(油画/插画/日漫/水墨)
AI视频制作-形象设定(人物形象服装/造型/表情)
AI视频画面特效处理
AI视频画面拼接
AI视频画面配音
AI视频画面包装
AI视频锁定人物逐一精修
多种表情动作/情节
动态模型转换-视频内部元素关键帧
动态模型转换-图像整体运动
动态模型转换-虚拟人
动态模型转换-表面特效
AI自媒体视频-深问GPT，获取方案
AI自媒体视频-风格设置(诗歌/文言文等)
AI自媒体视频-各行业创意视频设计思路
AI视频风格转换
AI视频字数压缩
AI视频同类型衍生
AI视频Pormpt公式

第四阶段（20天）：AI-虚拟数字人课程

———–
AI数字人工具简介
AI工作台界面功能展示及介绍
AI数字人任务确定
AI数字人素材准备
AI知识、语料的投喂
AI模型训练
AI训练成果展示及改进
AI数字人直播系统工具使用
AI人物在各平台直播
AI数字人在OBS平台直播

第五阶段（45天以上）：AIGC-多渠道变现课程

该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。