一、了解 SD 与哩布哩布
1. SD简介 SD全称为 Stable Diffusion ，与Midjourney （MJ）一样，也是一款AI绘画 软件，SD绘画 。相比于
2. LiblibAI (以下简称Lib) 下面跟大家强烈推荐哩布哩布（https ://www.liblib.art/），它原来是一个模型分享和下载的网站，后来有了在线 SD 的功能。其界面设计与原生不需要科学上网。
由于本地部署对于电脑硬件要求很高，不仅要求中高端显卡,同时还需要安装和设置软件环境。如果你是 AI
本文以下介绍均基于在线版 Lib，适用于新手体验与学习。
电脑配置要求
显卡(最重要):N卡 (Nvidia) 显存4GB以上，但是至少8 GB 用起来才会比较舒服，不然渲染一张 512*512
内存:尽量16GB 及以上，因为在出图的时候我们除了开 SD 软件，可能同时会打开各种参考图网站，SU 模型，PS 修图等等,容易卡死。
CPU 处理器:AI 绘图主要用 GPU 计算，不太吃 CPU，与显卡相匹配的处理器就可以。 硬盘储存空间:100GB
SD基础软件安装：推荐大家直接安装 Stable Diffusion WebUl 资源整合包（网上搜索秋叶的一键安装包）
二、基本界面认识
1. 网站首页 打开网址 https://www.liblib.art/
在开始生图前，我们可以先在 Lib 上找到众多已经预训练好的模型，一键添加到自己的模型列表中，就可以直接使用。比如，我想要搜索插画类大模型，可以在类型选择
2. 做图页面 点击【在线生图】，转到做图操作页面。如下图，主要包括大模型选择框，功能标签栏，提示词填写区，提示词操作区，高级参数设置区，结果生成区，结果处理区
3.关于模型
基本大模型 CHECKPOINT（必须要选择） 大模型有3类
2D 二次元模型：动画 插画，偏向平面的二次元人物，例如：AWpai nting；
前面界面认识部分已经介绍过网站首页就是模型广场，你可以在模型广场去了解和探索自己喜欢的大模型，并进行收藏加入自己的模型库，后面在做图时就可以选择对应大模型出类似风格的图。
在生图的操作页面，点开左上角的模型选择区域【CHECKPOINT】，（可选默认的模型，也可以自己添加其他各类模型），点击模型后的问号（❓），也可以跳转到模型介绍页面查看其基本介绍信息，如下所示。
Lora 小模型（可选可不选） Lora 为 SD 的一个插件，可以将其理解为辅助的提示词 ，让 AI
和收藏大模型一样，在模型广场上也一样可以查找添加 Lora 小模型到自己的模型库，打开对应模型页面后还可以查看模型创作者给你的玩法提示，帮助你设置你的参数。
在作图界面的提示词操作区点开【打开预览】（如下截图）可以看到自己收藏的 Lora 模型。甚至于你也可以训练你自己的 Lora 模型（高阶玩法，需购买会员）。
4.关于提示词 SD 里提示词区域包括正面提示词和负面提示词。负面提示词即你不想要画面中出现的内容，你也可以不填写。总体来说，如果你已经对 MJ
注意：1.相比于 MJ 可以理解长句子，SD
💡 关于prompt的一些规则
1.权重设置：**（提示词）给提示词加一层小括号表示增加权重1.1倍，加2层小括号，（（提示词））即增加权重 1.1 乘 1.1=1.21
2.利用步数做渐变：**提示词1：提示词2: 数字 如果数字 步，以提示词1生成，之后按照提示词2生成；如果数字>1，则表示，前（数字）步，以提示词1生成，剩下步数以提示词2生成。
Tips：可以将常用的正向和负向提示词提前预设写进去，然后点击右侧提示词操作区的保存按钮，如下图，我在正面和负面提示词框内写上通用的高质量图片提示词，点击右侧【保存当前配置和提示词】，进行命名，后续点击下方的预设，就可以添加自己预设的内容。如果想修改，修改后，重复保存，会将原来保存的内容覆盖。比如下图我预设保存了自己的固定提示词，取名为高清高质量写实照片。下一次我就可以直接右侧区域选择，提示词就可以自动添加进去。
如果想要皮克斯风格，可以将刚才添加的皮克斯 Lora 模型选上，可以点击上面的小图标，将触发词加上。
5.认识基础参数
（1）采样方法参数
它指的是不同的算法，代表了不同的生成图片的效率。速度方面 DDIM 最快，目前比较推荐和网上使用最广泛的几种为Euler a，DPM++ 2M
注意：不同的采样方式可能对不同的模型产生不同的影响，因此采样方法的选择最好的方法就是多尝试。
（2）迭代步数**
指用多少次来计算你提示词里的内容。步数不是越高越好，15-30之间比较适合，最大不要超过50步，推荐值25步左右。
（3）面部修复、平铺、高分辨率修复**
**面部修复：**通常用于实景图出现面部崩坏的情况，开启此功能，面部崩坏的情况会有一定的改善，但不建议用于二次元的图。
**平铺：**用于出无缝衔接的重复性花纹，可以按瓷砖，壁纸效果来理解。
**高分辨率修复与重绘幅度：**高清修复即增加原有图像分辨率，同时也可以调整原图像。
勾选高清修复后出现重绘幅度选项：高分辨率修复的重绘幅度为0时不会改变原图，0.3 以下会基于原图稍微修正，超过 0.7 会对原图做出较大改变，1
（4）宽度与高度
也即分辨率。最大为1024✖️1024如果你想生成更高清图像，建议生成小分辨率尺寸然后再用高清修复功能。
（5）生图的批次与数量
这个很好理解，即每次生成多少组图，每组图多少张。一次性生成张数越多，响应时间会越长。
对于安装本地部署的小伙伴的建议：中低显存 (6G、8G)的显卡，选择设置多批次，每批次生成1张图，降低对显卡的压力；高显存
数值越高越接近提示词内容，默认0.7较为合适，过低的 CFG，AI自由发挥的空间大，过高的 CFG，会让画面过饱和，甚至出现瑕疵，（过大的
（7）随机种子（类似 MJ 中的种子）**
当随机种子为-1时，则是未使用种子，后续出图都是随机状态；每次通过 SD 生成的图片都会有一个随机种子 Seed
如果我们想要固定某个形象，可以尝试把图片的随机种子值填在 Seed 里，这样每次出图的风格大致都会一样。
Tips:可以利用高分辨率修复以及种子值，养成先用小图测试再选择高分辨率修复，固定种子生成高清图的好习惯。
第一步:低分辨率快速抽卡（选择低分辨率 512 * 512，总批次选 4，每批次选 1，可以快速出 4 张图）
第二步：在多次抽卡确认效果后，锁定满意效果的种子值，再选择高分辨率修复，可得到满意的高清图。
（8）ControlNet 功能
这个功能可以实现更加精准控制。选取不同的预处理器，可以提取你上传画面的构图，人物的姿势和画面的深度信息等等，让 SD
以下是一个提示词和参数的范例，自己动手操作吧，只有尝试，你才能明白每一个参数的功能和效果。
【猫猫模特主题】
Liblib上模型：realistic VisionV50_v50VAE.safetensors
Liblib上 Lora：catman，权重 0.7 （它的触发词是 maomi，可以先去模型广场上搜索这个模型的介绍信息）
VAE：自动匹配
采样算法：DPM++ SDE Karras
采样步数：25
宽度：512
高度：768
提示词引导系数 ：7.0
正向提示词： (Best quality, masterpiece: 1.2), cat, cute, anthropomorphic, on the runway, children’s clothing, green, loose casual suit, Maine cat, maomi
翻译：(最佳质量，杰作：1.2），猫咪，可爱，拟人化，在T台上，童装，绿色，宽松休闲套装，缅因猫
负向提示词： (EasyNegative:1.2), badhandv4,ng_deepnegative_v1_75t,worst quality, low quality, monochrome
（以上提示词里相关颜色，服装的描述你都可以根据你的喜好调整）
下面这是我的参数页面截图，以及生成的图片，你的图是怎样的呢？
最后，关于更多 MJ 和 Stable Diffusion 设计的知识我们还整理了很多操作和案例知识，如果想要查阅相关内容，文末欢迎扫码订阅查看。保证100%免费】
Stable Diffusion介绍 OpenArt介绍 提示词（Prompt） 工程介绍 …
有需要的朋友，可以点击下方卡片免费领取！
Photography/摄影 Art Mediums/艺术媒介 Artists/艺术家 Illustration/插图 Emotions/情感 Aesthetics/美学 …
Highly detailed/高细节 Professional/专业 Vivid Colors/鲜艳的颜色 Bokeh/背景虚化 Sketch vs Painting/素描 vs 绘画 …
Resolution/分辨率 CFC/提词相关性 Step count/步数 Seed/种子 Sampler/采样 反向提示词(Prompt)
将草图转化为专业艺术作品 风格转换 lmg2lmg 变体 Img2lmg+多个AI问题 lmg2lmg 低强度变体 重绘 扩展/裁剪 …
词语的顺序和词语本身一样重要 不要忘记常规工具 反向提示词(Prompt) …
这份完整版的AI绘画（SD、comfyui、AI视频）整合包已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
文章来源于互联网:Stable Diffusion 入门实操篇
Stable Diffusion Stability AI 、CompVis 和 Runway
扩散模型原理 ：
文本到图像生成 ：
开放源代码 ：
高效的图像生成 ：
文章来源于互联网:Stable Diffusion介绍
相关推荐: 服了！这波大选，赚最肥的居然是搞AI写作的
本文背景 现在越来越多的小伙伴开始用灵想AI写作了。这是因为灵想AI写作真正站在用户的角度上完成写作的。 最近看了市面上很多写作工具，大都将AI分成了很多种级别和语气，但这些其实不是我们想要的。 许多人用AI写作只是为了完成一篇自己想要的文章，而自己想要的文章…
在 Midjourney 关闭免费通道后，本地部署似乎才是更快乐的玩法。经过两天折腾，我深深迷上了 Stable Diffusion 。
AI 零基础的我也在探索中，不断学习。AI 绘画 背后的技术值得每一个人去学习，对技术的好奇心远比玩弄一个工具更有趣！
什么是 Stable Diffusion？
2022 年发布的稳定扩散（Stable Diffusion[1]） 是一个文本到图像生成的深度学习模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及基于文本提示（英文）生成图像到图像的转换。该模型是由初创公司 Stability AI[2] 与一些学术研究机构和非营利组织合作开发的。
Stable Diffusion 是一种潜在扩散模型，它的开发由初创公司 Stability AI 资助和塑造，模型的技术许可证由慕尼黑大学的 CompVis 小组发布。开发工作由 Runway [3] 的 Patrick Esser 和 CompVis[4] 的 Robin Rombach 领导，他们是早期发明稳定扩散使用的潜在扩散模型架构的研究人员之一。Stability AI 还将 EleutherAI[5] 和 LAION[6]（一家德国非营利组织，他们组织了 Stable Diffusion 训练的数据集）列为该项目的支持者。
Stable Diffusion 的代码和模型权重已开源，并且可以在大多数消费级硬件上运行，配备至少 8 GB VRAM（Video random-access memory[7]）的适度 GPU。而以前的专有文生图模型（如 DALL-E[8] 和 Midjourney[9]）只能通过云服务访问。
Stable Diffusion 在线版虽然使用简单，但是大部分为阉割版（不支持模型选择，不支持否定提示（Negative Prompt），不支持插件等等），无法发挥其更大的能力。
Stable Diffusion 2.1 Demo[10]：Stable Diffusion 2.1 是 StabilityAI 最新的文本到图像模型。
Stable Diffusion 1 Demo[11]：Stable Diffusion 是一种最先进的文本到图像模型（旧版），可从文本生成图像。
DreamStudio Beta[12]：更快的生成图片及 API 访问。初始额度 25 credits，每次生成图片需要消耗 credits，消耗完了需要进行购买（$10 = 1,000 credits）。
Stable Diffusion Online[13]：只需输入提示，然后单击生成按钮。无需代码即可生成图像！
从以上几个网站大致可以看出，图片生成主要包含四部分：
Prompt 输入框：输入提示，即需要生成图片的文字描述，一般为英文短句或单词，以逗号进行分隔。
Negative Prompt 输入框：除了一些功能阉割网站不支持此功能外，Stable Diffusion 早期版本也不支持。否定提示也是一种输入提示，用来指定生成的图像中不应包含的内容。这些提示可用于微调模型的输出并确保它不会生成包含某些元素或特征的图像（达到过滤的目的）。和提示用法一样，以逗号进行分隔。（注意：否定提示可以阻止生成特定的事物、样式或修复某些图像异常，但并非 100% 有效）
Generate image 按钮：提示输入完成后，点击此按钮则开始生成图片。
图片展示区：此区域用来展示图片生成后的结果。
Stable Diffusion web UI[14]：基于 Gradio[15] 开发的浏览器界面。提供了众多实用功能，支持插件，强烈推荐。
Easy Diffusion 2.5[16]：在计算机上安装和使用 Stable Diffusion 的最简单的一键式方法。提供用于从文本提示和图像生成图像的浏览器 UI。只需输入文本提示，然后查看生成的图像（注意：Windows 有安装程序，Mac，Linux 需要下载项目后通过脚本启动）。
Draw Things (Mac 版)[17]：基于流行的 Stable Diffusion 模型，Draw Things 可帮助你在几分钟而不是几天内创建你心中的图像。它是免费的，在你的设备上 100% 离线运行所有内容以保护你的隐私（同时支持 iPhone 和 iPad）。
MochiDiffusion (Mac 版)[18]：在 Mac 上原生运行 Stable Diffusion
Diffusers (Mac 版)[19]：集成了 Core ML 的 Stable Diffusion 简单应用
在新版 Mac （M1，M2 芯片）上，Draw Things 和 MochiDiffusion 都可以启用 CoreML（机器学习） 来加速图片生成。但它们和 Stable Diffusion web UI 相比，功能上还是差了一些（比如：插件，更多参数配置等）。
仓库地址：https ://github .com/AUTOMATIC1111/stable-diffusion-webui
系统环境（前置条件）：
Python：项目依赖 Python 环境来运行，所以先保证系统中已安装过 Python，并将其加入环境变量（Python 下载[20]）。
Git：需要使用 git 来同步最新代码到本地（Git 下载[21]）
下载项目：Git 安装完成后，可以通过以下命令将下面下载到本地
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
注意：因为项目是通过 git clone 方式下载到本地的，所以如果远程仓库有最新发布，我们只需在项目根目录下执行 git pull 即可同步最新代码（如果你二次编辑了项目中的文件，请查看 git 文档，了解如何合并代码，解决冲突等）。
安装 Python 3.10.6 和 git，并将它添加到系统环境变量中。
下载项目
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
以普通非管理员权限从 Windows 资源管理器运行 webui-user.bat。
它会自动下载相关依赖并启动一个服务。默认 URL 为 http://127.0.0.1:7860。
安装依赖：
# 基于 Debian:
sudo apt install wget git python3 python3-venv
# 基于 Red Hat:
sudo dnf install wget git python3
# 基于 Arch:
sudo pacman -S wget git python3
下载项目：
bash
在项目根路径下找到 webui.sh，通过命令行来运行它。
它会自动下载相关依赖并启动一个服务。默认 URL 为 http://127.0.0.1:7860。
检查系统是否安装过 brew[22]
通过 brew 安装依赖，如果系统中已存在某个依赖则跳过它：
brew install cmake protobuf rust python@3.10 git wget
下载项目：
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
在项目根路径下找到 webui.sh，通过命令行来运行它。
它会自动下载相关依赖并启动一个服务。默认 URL 为 http://127.0.0.1:7860。
如果你还没有任何可用模型，可以从 Hugging Face[23]下载 Stable Diffusion 模型。模型格式一般使用 .ckpt 或 .safetensors 作为文件扩展名。找到文件，点击即可下载。这里推荐一些常用官方模型：
Stable DIffusion 1.4[24] (sd-v1-4.ckpt[25])
Stable Diffusion 1.5[26] (v1-5-pruned-emaonly.ckpt[27])
Stable Diffusion 1.5 Inpai nting[28] (sd-v1-5-inpainting.ckpt[29])
Stable Diffusion 2.0 和 2.1 需要模型和配置文件，生成图像时图像宽度和高度需要设置为 768 或更高：
除 Hugging Face 可以下载模型外，以下这些地方也可以探索：
Civitai[34]：是一个稳定扩散 AI 艺术模型的平台。收集了来自 250 多位创作者的 1,700 多个模型。我们还收集了来自社区的 1200 条评论以及 12,000 多张带有提示的图像，来帮助你入门。
Stable Foundation – models-embeddings：在 models-embeddings[35] 频道中用户分享了各种模型预览，附带下载链接。
每个模型在发布时都会发布声明或协议，我们在使用模型时，一定要仔细阅读它们（比如：禁止使用真人训练，禁止商用等等）。我们应该在不违反法律，道德，协议的情况下，进行自己的创作。
stable-diffusion-webui 是一个包含源代码的项目，所以对于非编程人员来说，它可能是复杂的存在。但是我们刚上手时，只需要关注几个文件夹和文件就够了。
.
├── models # 下载的模型存放在此处
│ ├── Lora # 📁 Lora 模型
│ │ ├── lyriel_v13.safetensors # 模型文件
│ │ └── ... # 其他模型文件
│ ├── Stable-diffusion # 📁 基础模型
│ │ ├── v1-5-pruned.ckpt # 模型文件
│ │ └── ... # 其他模型文件
│ ├── VAE # 📁 VAE 模型
│ │ ├── vae-ft-mse-840000-ema-pruned.safetensors # 模型文件
│ │ └── ... # 其他模型文件
│ └── ... # 其他
├── outputs # 🏞️ 图片输出位置
│ ├── img2img-grids # 网格图（2x2）
│ ├── img2img-images # 图生图
│ ├── txt2img-grids # 网格图（2x2）
│ ├── txt2img-images # 文字生图
│ └── ... # 其他
├── repositories # 🗑️ 缓存仓库，可删除
├── venv # 🗑️ 虚拟环境，一个独立的 Python 运行环境，可删除
├── webui-user.bat # ⚙️ Windows 启动脚本用户配置
├── webui-user.sh # ⚙️ Linux，Mac 启动脚本用户配置
├── webui.bat # 🟢 Windows 启动脚本
├── webui.sh # 🟢 Linux，Mac 启动脚本
└── ... # 其他
LoRA 模型（LoRA: Low-Rank Adaptation of Large Language Models[36]）：LoRA 是一种在大型语言模型的预训练权重基础上，注入可训练秩分解矩阵，从而减少可训练参数数量，提高训练吞吐量和减少 GPU 内存需求的方法。相比于完全微调模型，LoRA 可以在不增加推理延迟的情况下，达到相当甚至更好的模型性能（简单来说它就是基础模型的微调模型，比如修改风格为国风，水墨风等）。
VAE（Variational Autoencoder[37]）：VAE 代表变分自动编码器。它是神经网络模型的一部分，可对来自较小潜在空间的图像进行编码和解码（极大减少了显存），从而使计算速度更快。
Model 与 Lora 的关系（以书本世界为例）：
Model：百科全书
LoRA: 百科全书中的一个额外条目，作为一个“便利贴”塞进其中。
.ckpt 与 .safetensors：它们都是一种用于分发模型的文件格式。
.ckpt：是很多包含 Python 代码的压缩文件，利用它们就像解压缩一样简单。因包含大量代码，意味着它可能包含恶意代码，加载未知不信任来源的 .ckpt 文件，很可能会危害你的计算机。
.safetensors：只包含生成所需的数据，更难被利用。不包含代码，所以加载 .safetensors 文件也更安全和快速。
首次启动服务时，stable-diffusion-webui 需要下载大量依赖包，主要会出现以下情况：
卡住不动：大概率是网络不佳，因为有些依赖资源地址在国内是无法访问的，这时需全程启用代理，避免网络连接问题。
下载报错：有些依赖版本和自身系统不兼容，会导致报错，这时可根据具体报错信息去网上搜索解决方案。
启动成功，但部分依赖下载失败：可以通过手动安装来解决此类问题（例如在项目根路径下执行 pip3 install xxx，至于执行什么命令可根据报错信息中的提示进行尝试）。
Error running install.py for extension /Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess.
Command: "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/venv/bin/python3" "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/install.py"
Error code: 1
stdout: loading Smart Crop reqs from /Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/requirements.txt
Checking Smart Crop requirements.
stderr: Traceback (most recent call last):
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/install.py", line 9, in
run(f'"{sys.executable}" -m pip install -r "{req_file}"', f"Checking {name} requirements.",
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/launch.py", line 97, in run
raise RuntimeError(message)
RuntimeError: Couldn't install Smart Crop requirements..
Command: "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/venv/bin/python3" -m pip install -r "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/requirements.txt"
Error code: 1
stdout: Collecting ipython==8.6.0
Using cached ipython-8.6.0-py3-none-any.whl (761 kB)
Collecting seaborn==0.12.1
Using cached seaborn-0.12.1-py3-none-any.whl (288 kB)
stderr: ERROR: Could not find a version that satisfies the requirement tensorflow (from versions: none)
ERROR: No matching distribution found for tensorflow
解决方案：打开 stable-diffusion-webui/extensions/sd_smartprocess/requirements.txt 文件修改 tensorflow 为 tensorflow-macos，这是因为在 mac 上匹配不到 tensorflow 安装包，将其修改为 tensorflow-macos 即可。
Civitai: API loaded
Error loading script: main.py
Traceback (most recent call last):
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/modules/scripts.py", line 256, in load_scripts
script_module = script_loading.load_module(scriptfile.path)
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/modules/script_loading.py", line 11, in load_module
module_spec.loader.exec_module(module)
File "", line 883, in exec_module
File "", line 241, in _call_with_frames_removed
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/scripts/main.py", line 3, in
from extensions.sd_smartprocess import smartprocess
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/smartprocess.py", line 15, in
from extensions.sd_smartprocess.clipinterrogator import ClipInterrogator
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/clipinterrogator.py", line 14, in
from models.blip import blip_decoder, BLIP_Decoder
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/repositories/BLIP/models/blip.py", line 11, in
from models.vit import VisionTransformer, interpolate_pos_embed
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/repositories/BLIP/models/vit.py", line 21, in
from fairscale.nn.checkpoint.checkpoint_activations import checkpoint_wrapper
ModuleNotFoundError: No module named 'fairscale'
解决方案：手动安装 fairscale 依赖（相关 issue：installed but it says ModuleNotFound?[40]）
pip3 install fairscale
[1]
Stable Diffusion: https://github.com/Stability-AI/stablediffusion
[2]
Stability AI: https://stability.ai
[3]
Runway: https://runwayml.com
[4]
CompVis: https://github.com/CompVis
[5]
EleutherAI: https://www.eleuther.ai
[6]
LAION: https://laion.ai
[7]
Video random-access memory: https://en.wikipedia.org/wiki/Video_random-access_memory
[8]
DALL-E: https://openai.com/research/dall-e
[9]
Midjourney: https://midjourney.com
[10]
Stable Diffusion 2.1 Demo: https://huggingface.co/spaces/stabilityai/stable-diffusion
[11]
Stable Diffusion 1 Demo: https://huggingface.co/spaces/stabilityai/stable-diffusion-1
[12]
DreamStudio Beta: https://beta.dreamstudio.ai/generate
[13]
Stable Diffusion Online: https://stablediffusionweb.com
[14]
Stable Diffusion web UI: https://github.com/AUTOMATIC1111/stable-diffusion-webui
[15]
Gradio: https://github.com/gradio-app/gradio
[16]
Easy Diffusion 2.5: https://github.com/cmdr2/stable-diffusion-ui
[17]
Draw Things (Mac 版): https://drawthings.ai
[18]
MochiDiffusion (Mac 版): https://github.com/godly-devotion/MochiDiffusion
[19]
Diffusers (Mac 版): https://github.com/huggingface/swift-coreml-diffusers
[20]
Python 下载: https://www.python.org/downloads
[21]
Git 下载: https://git-scm.com/download
[22]
brew: https://brew.sh
[23]
Hugging Face: https://huggingface.co/models?pipeline_tag=text-to-image&sort=downloads
[24]
Stable DIffusion 1.4: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
[25]
sd-v1-4.ckpt: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
[26]
Stable Diffusion 1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5
[27]
v1-5-pruned-emaonly.ckpt: https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt
[28]
Stable Diffusion 1.5 Inpainting: https://huggingface.co/runwayml/stable-diffusion-inpainting
[29]
sd-v1-5-inpainting.ckpt: https://huggingface.co/runwayml/stable-diffusion-inpainting/resolve/main/sd-v1-5-inpainting.ckpt
[30]
Stable Diffusion 2.0: https://huggingface.co/stabilityai/stable-diffusion-2
[31]
768-v-ema.ckpt: https://huggingface.co/stabilityai/stable-diffusion-2/resolve/main/768-v-ema.ckpt
[32]
Stable Diffusion 2.1: https://huggingface.co/stabilityai/stable-diffusion-2-1
[33]
v2-1_768-ema-pruned.ckpt: https://huggingface.co/stabilityai/stable-diffusion-2-1/resolve/main/v2-1_768-ema-pruned.ckpt
[34]
Civitai: https://civitai.com
[35]
models-embeddings: https://discord.com/channels/1002292111942635562/1047197565365538826
[36]
LoRA: Low-Rank Adaptation of Large Language Models: https://arxiv.org/abs/2106.09685
[37]
Variational Autoencoder: https://en.wikipedia.org/wiki/Variational_autoencoder
[38]
What is the proper way to install TensorFlow on Apple M1 in 2022: https://stackoverflow.com/questions/72964800/what-is-the-proper-way-to-install-tensorflow-on-apple-m1-in-2022
[39]
Get started with tensorflow-metal: https://developer.apple.com/metal/tensorflow-plugin/
[40]
installed but it says ModuleNotFound?: https://github.com/d8ahazard/sd_smartprocess/issues/29
这里直接将该软件分享出来给大家吧~
随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本 。
我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。
stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！
文章来源于互联网:Stable Diffusion 入门篇
在 Midjourney 关闭免费通道后，本地部署似乎才是更快乐的玩法。经过两天折腾，我深深迷上了 Stable Diffusion 。
AI 零基础的我也在探索中，不断学习。AI 绘画 背后的技术值得每一个人去学习，对技术的好奇心远比玩弄一个工具更有趣！
2022 年发布的稳定扩散（Stable Diffusion[1]） 是一个文本到图像生成的深度学习模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及基于文本提示（英文）生成图像到图像的转换。该模型是由初创公司 Stability AI[2] 与一些学术研究机构和非营利组织合作开发的。
Stable Diffusion 是一种潜在扩散模型，它的开发由初创公司 Stability AI 资助和塑造，模型的技术许可证由慕尼黑大学的 CompVis 小组发布。开发工作由 Runway [3] 的 Patrick Esser 和 CompVis[4] 的 Robin Rombach 领导，他们是早期发明稳定扩散使用的潜在扩散模型架构的研究人员之一。Stability AI 还将 EleutherAI[5] 和 LAION[6]（一家德国非营利组织，他们组织了 Stable Diffusion 训练的数据集）列为该项目的支持者。
Stable Diffusion 的代码和模型权重已开源，并且可以在大多数消费级硬件上运行，配备至少 8 GB VRAM（Video random-access memory[7]）的适度 GPU。而以前的专有文生图模型（如 DALL-E[8] 和 Midjourney[9]）只能通过云服务访问。
Stable Diffusion 在线版虽然使用简单，但是大部分为阉割版（不支持模型选择，不支持否定提示（Negative Prompt），不支持插件等等），无法发挥其更大的能力。
Stable Diffusion 2.1 Demo[10]：Stable Diffusion 2.1 是 StabilityAI 最新的文本到图像模型。
Stable Diffusion 1 Demo[11]：Stable Diffusion 是一种最先进的文本到图像模型（旧版），可从文本生成图像。
DreamStudio Beta[12]：更快的生成图片及 API 访问。初始额度 25 credits，每次生成图片需要消耗 credits，消耗完了需要进行购买（$10 = 1,000 credits）。
Stable Diffusion Online[13]：只需输入提示，然后单击生成按钮。无需代码即可生成图像！
从以上几个网站大致可以看出，图片生成主要包含四部分：
Prompt 输入框：输入提示，即需要生成图片的文字描述，一般为英文短句或单词，以逗号进行分隔。
Negative Prompt 输入框：除了一些功能阉割网站不支持此功能外，Stable Diffusion 早期版本也不支持。否定提示也是一种输入提示，用来指定生成的图像中不应包含的内容。这些提示可用于微调模型的输出并确保它不会生成包含某些元素或特征的图像（达到过滤的目的）。和提示用法一样，以逗号进行分隔。（注意：否定提示可以阻止生成特定的事物、样式或修复某些图像异常，但并非 100% 有效）
Generate image 按钮：提示输入完成后，点击此按钮则开始生成图片。
图片展示区：此区域用来展示图片生成后的结果。
Stable Diffusion web UI[14]：基于 Gradio[15] 开发的浏览器界面。提供了众多实用功能，支持插件，强烈推荐。
Easy Diffusion 2.5[16]：在计算机上安装和使用 Stable Diffusion 的最简单的一键式方法。提供用于从文本提示和图像生成图像的浏览器 UI。只需输入文本提示，然后查看生成的图像（注意：Windows 有安装程序，Mac，Linux 需要下载项目后通过脚本启动）。
Draw Things (Mac 版)[17]：基于流行的 Stable Diffusion 模型，Draw Things 可帮助你在几分钟而不是几天内创建你心中的图像。它是免费的，在你的设备上 100% 离线运行所有内容以保护你的隐私（同时支持 iPhone 和 iPad）。
MochiDiffusion (Mac 版)[18]：在 Mac 上原生运行 Stable Diffusion
Diffusers (Mac 版)[19]：集成了 Core ML 的 Stable Diffusion 简单应用
在新版 Mac （M1，M2 芯片）上，Draw Things 和 MochiDiffusion 都可以启用 CoreML（机器学习） 来加速图片生成。但它们和 Stable Diffusion web UI 相比，功能上还是差了一些（比如：插件，更多参数配置等）。
仓库地址：https ://github .com/AUTOMATIC1111/stable-diffusion-webui
系统环境（前置条件）：
Python：项目依赖 Python 环境来运行，所以先保证系统中已安装过 Python，并将其加入环境变量（Python 下载[20]）。
Git：需要使用 git 来同步最新代码到本地（Git 下载[21]）
下载项目：Git 安装完成后，可以通过以下命令将下面下载到本地
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
注意：因为项目是通过 git clone 方式下载到本地的，所以如果远程仓库有最新发布，我们只需在项目根目录下执行 git pull 即可同步最新代码（如果你二次编辑了项目中的文件，请查看 git 文档，了解如何合并代码，解决冲突等）。
安装 Python 3.10.6 和 git，并将它添加到系统环境变量中。
下载项目
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
以普通非管理员权限从 Windows 资源管理器运行 webui-user.bat。
它会自动下载相关依赖并启动一个服务。默认 URL 为 http://127.0.0.1:7860。
安装依赖：
# 基于 Debian:
sudo apt install wget git python3 python3-venv
# 基于 Red Hat:
sudo dnf install wget git python3
# 基于 Arch:
sudo pacman -S wget git python3
下载项目：
bash
在项目根路径下找到 webui.sh，通过命令行来运行它。
它会自动下载相关依赖并启动一个服务。默认 URL 为 http://127.0.0.1:7860。
检查系统是否安装过 brew[22]
通过 brew 安装依赖，如果系统中已存在某个依赖则跳过它：
brew install cmake protobuf rust python@3.10 git wget
下载项目：
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
在项目根路径下找到 webui.sh，通过命令行来运行它。
它会自动下载相关依赖并启动一个服务。默认 URL 为 http://127.0.0.1:7860。
如果你还没有任何可用模型，可以从 Hugging Face[23]下载 Stable Diffusion 模型。模型格式一般使用 .ckpt 或 .safetensors 作为文件扩展名。找到文件，点击即可下载。这里推荐一些常用官方模型：
Stable DIffusion 1.4[24] (sd-v1-4.ckpt[25])
Stable Diffusion 1.5[26] (v1-5-pruned-emaonly.ckpt[27])
Stable Diffusion 1.5 Inpai nting[28] (sd-v1-5-inpainting.ckpt[29])
Stable Diffusion 2.0 和 2.1 需要模型和配置文件，生成图像时图像宽度和高度需要设置为 768 或更高：
除 Hugging Face 可以下载模型外，以下这些地方也可以探索：
Civitai[34]：是一个稳定扩散 AI 艺术模型的平台。收集了来自 250 多位创作者的 1,700 多个模型。我们还收集了来自社区的 1200 条评论以及 12,000 多张带有提示的图像，来帮助你入门。
Stable Foundation – models-embeddings：在 models-embeddings[35] 频道中用户分享了各种模型预览，附带下载链接。
每个模型在发布时都会发布声明或协议，我们在使用模型时，一定要仔细阅读它们（比如：禁止使用真人训练，禁止商用等等）。我们应该在不违反法律，道德，协议的情况下，进行自己的创作。
stable-diffusion-webui 是一个包含源代码的项目，所以对于非编程人员来说，它可能是复杂的存在。但是我们刚上手时，只需要关注几个文件夹和文件就够了。
.
├── models # 下载的模型存放在此处
│ ├── Lora # 📁 Lora 模型
│ │ ├── lyriel_v13.safetensors # 模型文件
│ │ └── ... # 其他模型文件
│ ├── Stable-diffusion # 📁 基础模型
│ │ ├── v1-5-pruned.ckpt # 模型文件
│ │ └── ... # 其他模型文件
│ ├── VAE # 📁 VAE 模型
│ │ ├── vae-ft-mse-840000-ema-pruned.safetensors # 模型文件
│ │ └── ... # 其他模型文件
│ └── ... # 其他
├── outputs # 🏞️ 图片输出位置
│ ├── img2img-grids # 网格图（2x2）
│ ├── img2img-images # 图生图
│ ├── txt2img-grids # 网格图（2x2）
│ ├── txt2img-images # 文字生图
│ └── ... # 其他
├── repositories # 🗑️ 缓存仓库，可删除
├── venv # 🗑️ 虚拟环境，一个独立的 Python 运行环境，可删除
├── webui-user.bat # ⚙️ Windows 启动脚本用户配置
├── webui-user.sh # ⚙️ Linux，Mac 启动脚本用户配置
├── webui.bat # 🟢 Windows 启动脚本
├── webui.sh # 🟢 Linux，Mac 启动脚本
└── ... # 其他
LoRA 模型（LoRA: Low-Rank Adaptation of Large Language Models[36]）：LoRA 是一种在大型语言模型的预训练权重基础上，注入可训练秩分解矩阵，从而减少可训练参数数量，提高训练吞吐量和减少 GPU 内存需求的方法。相比于完全微调模型，LoRA 可以在不增加推理延迟的情况下，达到相当甚至更好的模型性能（简单来说它就是基础模型的微调模型，比如修改风格为国风，水墨风等）。
VAE（Variational Autoencoder[37]）：VAE 代表变分自动编码器。它是神经网络模型的一部分，可对来自较小潜在空间的图像进行编码和解码（极大减少了显存），从而使计算速度更快。
Model 与 Lora 的关系（以书本世界为例）：
Model：百科全书
LoRA: 百科全书中的一个额外条目，作为一个“便利贴”塞进其中。
.ckpt 与 .safetensors：它们都是一种用于分发模型的文件格式。
.ckpt：是很多包含 Python 代码的压缩文件，利用它们就像解压缩一样简单。因包含大量代码，意味着它可能包含恶意代码，加载未知不信任来源的 .ckpt 文件，很可能会危害你的计算机。
.safetensors：只包含生成所需的数据，更难被利用。不包含代码，所以加载 .safetensors 文件也更安全和快速。
首次启动服务时，stable-diffusion-webui 需要下载大量依赖包，主要会出现以下情况：
卡住不动：大概率是网络不佳，因为有些依赖资源地址在国内是无法访问的，这时需全程启用代理，避免网络连接问题。
下载报错：有些依赖版本和自身系统不兼容，会导致报错，这时可根据具体报错信息去网上搜索解决方案。
启动成功，但部分依赖下载失败：可以通过手动安装来解决此类问题（例如在项目根路径下执行 pip3 install xxx，至于执行什么命令可根据报错信息中的提示进行尝试）。
Error running install.py for extension /Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess.
Command: "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/venv/bin/python3" "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/install.py"
Error code: 1
stdout: loading Smart Crop reqs from /Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/requirements.txt
Checking Smart Crop requirements.
stderr: Traceback (most recent call last):
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/install.py", line 9, in
run(f'"{sys.executable}" -m pip install -r "{req_file}"', f"Checking {name} requirements.",
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/launch.py", line 97, in run
raise RuntimeError(message)
RuntimeError: Couldn't install Smart Crop requirements..
Command: "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/venv/bin/python3" -m pip install -r "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/requirements.txt"
Error code: 1
stdout: Collecting ipython==8.6.0
Using cached ipython-8.6.0-py3-none-any.whl (761 kB)
Collecting seaborn==0.12.1
Using cached seaborn-0.12.1-py3-none-any.whl (288 kB)
stderr: ERROR: Could not find a version that satisfies the requirement tensorflow (from versions: none)
ERROR: No matching distribution found for tensorflow
解决方案：打开 stable-diffusion-webui/extensions/sd_smartprocess/requirements.txt 文件修改 tensorflow 为 tensorflow-macos，这是因为在 mac 上匹配不到 tensorflow 安装包，将其修改为 tensorflow-macos 即可。
Civitai: API loaded
Error loading script: main.py
Traceback (most recent call last):
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/modules/scripts.py", line 256, in load_scripts
script_module = script_loading.load_module(scriptfile.path)
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/modules/script_loading.py", line 11, in load_module
module_spec.loader.exec_module(module)
File "", line 883, in exec_module
File "", line 241, in _call_with_frames_removed
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/scripts/main.py", line 3, in
from extensions.sd_smartprocess import smartprocess
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/smartprocess.py", line 15, in
from extensions.sd_smartprocess.clipinterrogator import ClipInterrogator
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/extensions/sd_smartprocess/clipinterrogator.py", line 14, in
from models.blip import blip_decoder, BLIP_Decoder
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/repositories/BLIP/models/blip.py", line 11, in
from models.vit import VisionTransformer, interpolate_pos_embed
File "/Users/lencx/github/lencx/ai-art/stable-diffusion-webui/repositories/BLIP/models/vit.py", line 21, in
from fairscale.nn.checkpoint.checkpoint_activations import checkpoint_wrapper
ModuleNotFoundError: No module named 'fairscale'
解决方案：手动安装 fairscale 依赖（相关 issue：installed but it says ModuleNotFound?[40]）
pip3 install fairscale
[1]
Stable Diffusion: https://github.com/Stability-AI/stablediffusion
[2]
Stability AI: https://stability.ai
[3]
Runway: https://runwayml.com
[4]
CompVis: https://github.com/CompVis
[5]
EleutherAI: https://www.eleuther.ai
[6]
LAION: https://laion.ai
[7]
Video random-access memory: https://en.wikipedia.org/wiki/Video_random-access_memory
[8]
DALL-E: https://openai.com/research/dall-e
[9]
Midjourney: https://midjourney.com
[10]
Stable Diffusion 2.1 Demo: https://huggingface.co/spaces/stabilityai/stable-diffusion
[11]
Stable Diffusion 1 Demo: https://huggingface.co/spaces/stabilityai/stable-diffusion-1
[12]
DreamStudio Beta: https://beta.dreamstudio.ai/generate
[13]
Stable Diffusion Online: https://stablediffusionweb.com
[14]
Stable Diffusion web UI: https://github.com/AUTOMATIC1111/stable-diffusion-webui
[15]
Gradio: https://github.com/gradio-app/gradio
[16]
Easy Diffusion 2.5: https://github.com/cmdr2/stable-diffusion-ui
[17]
Draw Things (Mac 版): https://drawthings.ai
[18]
MochiDiffusion (Mac 版): https://github.com/godly-devotion/MochiDiffusion
[19]
Diffusers (Mac 版): https://github.com/huggingface/swift-coreml-diffusers
[20]
Python 下载: https://www.python.org/downloads
[21]
Git 下载: https://git-scm.com/download
[22]
brew: https://brew.sh
[23]
Hugging Face: https://huggingface.co/models?pipeline_tag=text-to-image&sort=downloads
[24]
Stable DIffusion 1.4: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
[25]
sd-v1-4.ckpt: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
[26]
Stable Diffusion 1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5
[27]
v1-5-pruned-emaonly.ckpt: https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt
[28]
Stable Diffusion 1.5 Inpainting: https://huggingface.co/runwayml/stable-diffusion-inpainting
[29]
sd-v1-5-inpainting.ckpt: https://huggingface.co/runwayml/stable-diffusion-inpainting/resolve/main/sd-v1-5-inpainting.ckpt
[30]
Stable Diffusion 2.0: https://huggingface.co/stabilityai/stable-diffusion-2
[31]
768-v-ema.ckpt: https://huggingface.co/stabilityai/stable-diffusion-2/resolve/main/768-v-ema.ckpt
[32]
Stable Diffusion 2.1: https://huggingface.co/stabilityai/stable-diffusion-2-1
[33]
v2-1_768-ema-pruned.ckpt: https://huggingface.co/stabilityai/stable-diffusion-2-1/resolve/main/v2-1_768-ema-pruned.ckpt
[34]
Civitai: https://civitai.com
[35]
models-embeddings: https://discord.com/channels/1002292111942635562/1047197565365538826
[36]
LoRA: Low-Rank Adaptation of Large Language Models: https://arxiv.org/abs/2106.09685
[37]
Variational Autoencoder: https://en.wikipedia.org/wiki/Variational_autoencoder
[38]
What is the proper way to install TensorFlow on Apple M1 in 2022: https://stackoverflow.com/questions/72964800/what-is-the-proper-way-to-install-tensorflow-on-apple-m1-in-2022
[39]
Get started with tensorflow-metal: https://developer.apple.com/metal/tensorflow-plugin/
[40]
installed but it says ModuleNotFound?: https://github.com/d8ahazard/sd_smartprocess/issues/29
这里直接将该软件分享出来给大家吧~
随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本 。
我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。
stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！
文章来源于互联网:Stable Diffusion 入门篇
以下内容有百度 文心一言 生成，仅供参考。如有侵权请联系删除。
Stable Diffusion是一种基于深度学习的AI图像生成技术，由Stability AI公司开发。该技术使用了一种称为“扩散模型”（diffusion model）的生成模型，通过学习大量的图像数据，能够生成与训练数据相似的高质量新图像。Stable Diffusion在图像生成领域具有显著的优势，包括：
文本到图像 ：用户可以通过输入文本描述（prompt），Stable Diffusion能够生成与之对应的图像。
高质量生成 ：生成的图像具有较高的分辨率和细节，能够与专业图像生成技术相媲美。
多样性 ：即使是相同的文本描述，每次生成的图像也可能有所不同，提供了丰富的图像变化。
开源 ：Stable Diffusion的代码和预训练模型是开源的，允许任何人自由使用、修改和分发。
灵活性 ：用户可以根据自己的需求调整生成参数，如图像的分辨率、风格、颜色等。
应用广泛 ：Stable Diffusion可应用于艺术创作、游戏设计、虚拟现实、广告制作等多个领域。
以下是Stable Diffusion的基本使用方法，供用户参考：
操作系统 ：Linux或Windows（推荐Windows 10及以上版本）。
硬件要求 ：
GPU ：NVIDIA GPU（至少6GB显存，推荐11GB以上），因为Stable Diffusion是计算密集型的，需要强大的GPU支持来加速图像生成过程。
内存 ：建议至少16GB运行内存，32GB则更为理想。
存储空间 ：确保有足够的存储空间来存储模型和生成的图像。
CUDA ：安装与GPU兼容的CUDA版本。
安装Anaconda ：Anaconda是一个流行的Python数据科学平台，用于管理Python环境和包。从Anaconda官网 下载并安装。
创建Python环境 ：使用Anaconda创建一个新的Python环境，并安装PyTorch及其依赖库。PyTorch的安装命令可以在PyTorch官网 查找，确保安装与CUDA版本兼容的PyTorch。
安装Stable Diffusion依赖库 ：使用pip安装Stable Diffusion所需的依赖库，如torch、torchvision、numpy等。
从Stable Diffusion的GitHub仓库 或其他可信来源下载预训练模型。模型文件通常是一个.ckpt或.pt格式的文件。
使用命令行工具（如cmd、PowerShell或终端）导航到Stable Diffusion的安装目录。
使用提供的脚本或命令生成图像，例如通过输入文本描述来生成对应的图像。具体命令可能因Stable Diffusion的版本而异，请参考最新的文档或社区讨论。
根据需要调整生成图像的参数，如文本描述（prompt）、输出目录（outdir）、生成步骤数（steps ）、采样方法（sampler）等。
通过调整这些参数，可以优化生成图像的质量和风格。
Stable Diffusion的开源特性意味着用户可以自由探索和优化模型。
社区成员不断贡献代码、分享技巧和改进模型，用户可以参与其中，共同推动Stable Diffusion的发展。
请注意，以上步骤仅为Stable Diffusion使用的一个基本指南。由于Stable Diffusion是一个不断发展的项目，具体的安装和使用方法可能会随着版本的更新而有所变化。因此，建议用户参考最新的官方文档和社区讨论，以获取最准确的信息和最佳实践。
文章来源于互联网:Stable Diffusion简介
相关推荐: Stable Diffusion采样方式测试【内含二次元、2.5D、真人等九种采样方法】
本次测试包含【二次元、2.5D、真人】 测试9种常用的采样方式 提示词均为基础的起手式+一个美丽的女孩，均不添加任何插件 二次元测试结果 模型：tmndMix_tmndMix3 适合二次元的采样器：2Sa，2M,SDE,2M karras,SDE Karras…
一、了解 SD 与哩布哩布
1. SD简介
SD全称为 Stable Diffusion ，与 Midjourney （MJ）一样，也是一款AI绘画 软件，SD 的核心原理是潜在扩散模型（LDM），通过该技术，SD能够将原始图像转化为噪声图像，然后逐渐去除噪声，生成最终的逼真绘画。相比于 Midjourney，它具有更强的可控性，它把一切的控制权都交给你。在许多商业场景中更加实用，操作复杂度也会高一点。但 MJ 与 SD 是目的性不同的工具，MJ是视觉表现工具，SD 是制作取向工具，不同需求者会在不同的阶段使用它们，而且两者并不冲突，在制作上可以相互配合互补。
2. LiblibAI (以下简称Lib)
下面跟大家强烈推荐哩布哩布（https ://www.liblib.art/），它原来是一个模型分享和下载的网站，后来有了在线 SD 的功能。其界面设计与原生 SD 基本上一样的，Lib 不仅可以本地部署，并提供了 SD 大模型的下载；同时作为一个 SD 生态网站，它可以线上体验 SD 功能，不需要科学上网。
由于本地部署对于电脑硬件要求很高，不仅要求中高端显卡,同时还需要安装和设置软件环境。如果你是 AI 新人，在没有时间和设备的前提下想要试试AI绘图，照着网上的教程做一些东西，为自己的学习和工作提供更多助力，Lib 线上版会是非常适合你的学习平台和生产工具，目前每天可以免费生成 300 张，还是很赞的。
本文以下介绍均基于在线版 Lib，适用于新手体验与学习。 （对于想要安装本地部署的，以下为网上搜集的安装配置要求，可参考，如果你是Mac本就不用考虑了。）
电脑配置要求
显卡(最重要):N卡 (Nvidia) 显存4GB以上，但是至少8 GB 用起来才会比较舒服，不然渲染一张 512*512 的小图就需要几分钟体验感很差。不推荐A卡(AMD) ，最低配置 GT X 1060，不到一分钟一张图；建议配置 GT X 3060 ，10秒左右一张图；高配 GT X 3080 GT X 4090 ，体验三秒一张图。
内存:尽量16GB 及以上，因为在出图的时候我们除了开 SD 软件，可能同时会打开各种参考图网站，SU 模型，PS 修图等等,容易卡死。
CPU 处理器:AI 绘图主要用 GPU 计算，不太吃 CPU，与显卡相匹配的处理器就可以。 硬盘储存空间:100GB 以上，软件本体在20-30GB，后期还需要下载很多大的模型，每个模型一般也有2-5GB，还有各种 Lora 模型，所以储存越大越好。
SD基础软件安装：推荐大家直接安装 Stable Diffusion WebUl 资源整合包（网上搜索秋叶的一键安装包）
二、基本界面认识
1. 网站首页
打开网址 https://www.liblib.art/ 后，就到了网站首页（如下图），可以看到大幅页面为模型广场，是Lib提供的海量模型库。右上角注册登录，点左侧创作区域的【在线生图】，即可到做图操作页面。
在开始生图前，我们可以先在 Lib 上找到众多已经预训练好的模型，一键添加到自己的模型列表中，就可以直接使用。比如，我想要搜索插画类大模型，可以在类型选择 CHECKPOINT，搜索框内写插画，即可找到类似模型。
2. 做图页面
点击【在线生图】，转到做图操作页面。如下图，主要包括大模型选择框，功能标签栏，提示词填写区，提示词操作区，高级参数设置区，结果生成区，结果处理区 （图片生成后出现）。
3.关于模型
基本大模型 CHECKPOINT（必须要选择）
大模型有3类
2D 二次元模型：动画 插画，偏向平面的二次元人物，例如：AWpai nting；
前面界面认识部分已经介绍过网站首页就是模型广场，你可以在模型广场去了解和探索自己喜欢的大模型，并进行收藏加入自己的模型库，后面在做图时就可以选择对应大模型出类似风格的图。
在生图的操作页面，点开左上角的模型选择区域【CHECKPOINT】，（可选默认的模型，也可以自己添加其他各类模型），点击模型后的问号（❓），也可以跳转到模型介绍页面查看其基本介绍信息，如下所示。
Lora 小模型（可选可不选）
Lora 为 SD 的一个插件，可以将其理解为辅助的提示词 ，让 AI 有更加细化的风格作为参考，你选择了小模型后，提示词框内会加上对应的触发关键词。
和收藏大模型一样，在模型广场上也一样可以查找添加 Lora 小模型到自己的模型库，打开对应模型页面后还可以查看模型创作者给你的玩法提示，帮助你设置你的参数。
在作图界面的提示词操作区点开【打开预览】（如下截图）可以看到自己收藏的 Lora 模型。甚至于你也可以训练你自己的 Lora 模型（高阶玩法，需购买会员）。
4.关于提示词
SD 里提示词区域包括正面提示词和负面提示词。负面提示词即你不想要画面中出现的内容，你也可以不填写。总体来说，如果你已经对 MJ 有所了解的话，提示词对你来说就很简单。并且在这里你直接用中文写也可以，然后点击右上角的翻译，它可以帮你翻译为英文。
注意：1.相比于 MJ 可以理解长句子，SD 更适合短语。2.提示词中画风描述词要与所选择的大模型相匹配。如果有冲突，系统会优先按模型效果。比如你选择的模型是二次元的 Awpainting，提示词写了写实风格，最后生成的图依然会是二次元风格。
💡 关于prompt的一些规则
1.权重设置：**（提示词）给提示词加一层小括号表示增加权重1.1倍，加2层小括号，（（提示词））即增加权重 1.1 乘 1.1=1.21 倍；[提示词]给提示词加一层中括号表示降低权重为0.9倍，同理两层总括号即降低权重 0.9 乘 0.9=0.81 倍；（提示词：1.X)代表提升提示词权重1.X倍 ；（提示词：0.X)代表降低提示词权重0.X倍。最后这个方式设置权重更推荐。
2.利用步数做渐变：**提示词1：提示词2: 数字 如果数字1，则表示，前（数字）步，以提示词1生成，剩下步数以提示词2生成。
Tips：可以将常用的正向和负向提示词提前预设写进去，然后点击右侧提示词操作区的保存按钮，如下图，我在正面和负面提示词框内写上通用的高质量图片提示词，点击右侧【保存当前配置和提示词】，进行命名，后续点击下方的预设，就可以添加自己预设的内容。如果想修改，修改后，重复保存，会将原来保存的内容覆盖。比如下图我预设保存了自己的固定提示词，取名为高清高质量写实照片。下一次我就可以直接右侧区域选择，提示词就可以自动添加进去。
如果想要皮克斯风格，可以将刚才添加的皮克斯 Lora 模型选上，可以点击上面的小图标，将触发词加上。
5.认识基础参数
（1）采样方法参数
它指的是不同的算法，代表了不同的生成图片的效率。速度方面 DDIM 最快，目前比较推荐和网上使用最广泛的几种为Euler a，DPM++ 2M karras, DPM++ SDE karras，DDIM，属于速度快且质量有保证。
注意：不同的采样方式可能对不同的模型产生不同的影响，因此采样方法的选择最好的方法就是多尝试。
（2）迭代步数**
指用多少次来计算你提示词里的内容。步数不是越高越好，15-30之间比较适合，最大不要超过50步，推荐值25步左右。
（3）面部修复、平铺、高分辨率修复**
**面部修复：**通常用于实景图出现面部崩坏的情况，开启此功能，面部崩坏的情况会有一定的改善，但不建议用于二次元的图。
**平铺：**用于出无缝衔接的重复性花纹，可以按瓷砖，壁纸效果来理解。
**高分辨率修复与重绘幅度：**高清修复即增加原有图像分辨率，同时也可以调整原图像。
勾选高清修复后出现重绘幅度选项：高分辨率修复的重绘幅度为0时不会改变原图，0.3 以下会基于原图稍微修正，超过 0.7 会对原图做出较大改变，1 会得到一个完全不同的图像。
（4）宽度与高度
也即分辨率。最大为1024✖️1024如果你想生成更高清图像，建议生成小分辨率尺寸然后再用高清修复功能。
（5）生图的批次与数量
这个很好理解，即每次生成多少组图，每组图多少张。一次性生成张数越多，响应时间会越长。
对于安装本地部署的小伙伴的建议：中低显存 (6G、8G)的显卡，选择设置多批次，每批次生成1张图，降低对显卡的压力；高显存 (12G、16G、24G)的显卡，可以设置单批次，一次性生成多张图。
数值越高越接近提示词内容，默认0.7较为合适，过低的 CFG，AI自由发挥的空间大，过高的 CFG，会让画面过饱和，甚至出现瑕疵，（过大的 CFG值，可以通过提高采样步数来抵消）。合适的CFG范围5-12之间，常用7或9搭配合适的送代步数15-30使用。
（7）随机种子（类似 MJ 中的种子）**
当随机种子为-1时，则是未使用种子，后续出图都是随机状态；每次通过 SD 生成的图片都会有一个随机种子 Seed 值，可以填入随机种子参数位置，固定随机种子值后，后续生成的图片都会参考这个种子进行生成。点击随机种子区域右侧类似掉头的箭头图标，在随机种子框中即可快速填入当前图片的随机种子。
如果我们想要固定某个形象，可以尝试把图片的随机种子值填在 Seed 里，这样每次出图的风格大致都会一样。
Tips:可以利用高分辨率修复以及种子值，养成先用小图测试再选择高分辨率修复，固定种子生成高清图的好习惯。
第一步:低分辨率快速抽卡（选择低分辨率 512 * 512，总批次选 4，每批次选 1，可以快速出 4 张图）
第二步：在多次抽卡确认效果后，锁定满意效果的种子值，再选择高分辨率修复，可得到满意的高清图。
（8）ControlNet 功能
这个功能可以实现更加精准控制。选取不同的预处理器，可以提取你上传画面的构图，人物的姿势和画面的深度信息等等，让 SD 按照你给的图片参考信息来出图，来精准控制需要生成的图片。有了它的帮助，就不用频繁用提示词碰运气抽卡式创作了。这个是目前在 AI 绘图方面得到较高认可的功能。（展开后有其各种详细参数如下截图，此功能在基础篇不做详细介绍。）
以下是一个提示词和参数的范例，自己动手操作吧，只有尝试，你才能明白每一个参数的功能和效果。
【猫猫模特主题】
Liblib上模型：realistic VisionV50_v50VAE.safetensors
Liblib上 Lora：catman，权重 0.7 （它的触发词是 maomi，可以先去模型广场上搜索这个模型的介绍信息）
VAE：自动匹配
采样算法：DPM++ SDE Karras
采样步数：25
宽度：512
高度：768
提示词引导系数 ：7.0
正向提示词： (Best quality, masterpiece: 1.2), cat, cute, anthropomorphic, on the runway, children’s clothing, green, loose casual suit, Maine cat, maomi
翻译：(最佳质量，杰作：1.2），猫咪，可爱，拟人化，在T台上，童装，绿色，宽松休闲套装，缅因猫
负向提示词： (EasyNegative:1.2), badhandv4,ng_deepnegative_v1_75t,worst quality, low quality, monochrome
（以上提示词里相关颜色，服装的描述你都可以根据你的喜好调整）
下面这是我的参数页面截图，以及生成的图片，你的图是怎样的呢？
最后，关于更多 MJ 和 Stable Diffusion 设计的知识我们还整理了很多操作和案例知识，如果想要查阅相关内容，文末欢迎扫码订阅查看。
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
Stable Diffusion 入门实操篇
上一篇GitHub Copilot Metrics Viewer 项目教程
下一篇字节跳动发布两款豆包系列视频模型丨ChatGPT「高级语音模式」功能全量上线丨「Apple智能」对存储空间要求进一步提高
5bei.cn大模型教程网
