AI大模型教程
一起来学习

Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

常用采样器、目前有20个采样步骤越多每个步之间的降噪越小,减少采样过程中的截断误差,结果越好

学微分方程求解器

Euler(最简单的采样器,采样过程中不加随机噪声,根据采样计划来执行每个步骤中的噪声,并使用欧拉方法减少适当数量的噪声以适应噪声计划,到最后一步为0)、Heun(是对 Euler 的更精确的改进,但需要在每个步骤中预算两次噪声,处理速度相对会更慢一些)、LMS(解决学微分方程的标准方法,采样速度与Euler 相同)

祖先采样器.

随机采样,采样过程具一定的随机性,缺点是图像不收敛

Euler a(在每个步骤中减去比『应该』更多的噪声并添加一些随机的噪声以接近于噪声计划,去噪图像取决于前面步骤添加的特定噪声)、DPM2a、DPM++2s a、DPM2 a Karras、DPM++ 2S a Karras

官方采样器,最早的采样器算法

DDIM、(使用去噪后的图像来近似最终图像,并使用噪声预测估计的噪声来近似图像方向)PLMS (是 DDIM 的新版且更快速的替代品)DPM 和DPM++,DPM2(是 katherine Crowson 在 k-diffusion 项目中自创的,灵感来源 DPM-Solever-2 和算法
2,受采样器设置中的 sigma 参数影响) 、DPM2 a(祖先采样器的一种,受采样器的 ETA 参数影响)、DPM++ 2sa(祖先采样器的一种,受采样器的 ETA 参数影响) 、DPM++ SDE(受采样器的 ETA 参数影响)、DPM fast (用于 steps 小于 20
的情况,受采样器的 ETA 参数影响 )、DPM++ 2M(在速度和质量的平衡最好,代表 m 的多步比上面的 s单步在采样时会参考更多步,而非当前步所以能有更好的质量)、DPM adaptive (2022 年发布的扩散模型的新采样器,DPM2 比 DPM
更准确但速度较慢,DPM++是对 DPM 的改进,可以自适应的调整步长,但会很慢,不能保证在规定的采样步骤内完成.)

带有 Karras 字样的采样器

使用了噪声时间表,控制每个步骤的噪声水平,随着采样步骤的增加,减少了截断误差

UNiPC

是 2023 年发布的,目前最快速的最新的采样方法 UNiPC sampling steps 10、UNiPC sampling steps20、UNiPC sampling steps 30受 ODE 求解器中预测校正方法启发 可以在很少的步骤就可以实现高质量图像生成

常用的采样器

DPM++ 2M karras(20-30 步)、unpic(15-25 步)、如果想要高质量的图,不收敛可以选择 DPM++ SEDKarras,DDIM (10-15 步,较快) ,如果要简单的图可以选 Euler,heun 可以减少步骤以节省时间,如果想要稳定可复线的图(Eulera、DPM2 a、DPM++ 2s a、DPM2 a karras、DPM2 ++ 2s a karras,避免采用任何祖先采样器)

常用模型

二次元代表 :Anything v5、Counterfeit v2.5、Dreamlike Diffusion、

标签与风格关键词:

illustration,painting,sketch,drawing,painting,comic,anime,catoon

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

写实代表:Deliberate、Realistic Vision、LOFI(L.O.F.I)

标签与风格关键词:

photography,photo,realistic,photorealistic,RAW photo

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

2.5D 风代表 :NeverEnding Dream(NED)、Protogen (Realistic) 、国风 V3(GuoFeng3)
、lora 卡通证件照(底模:DreamShaper,06-0.9)

风格关键词:

3D、render、chibi、digital art、concept art、{realistic}

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

模型扩展名的区分

模型的类型(是装着各种图片的容器)官方模型网站:https://huggingface.co

Stable Diffusion 大模型(*.ckpt) 文件是用 pickle
序例化的。这意味着它有可能会包含恶意代码。加载这类型的模型应该确认可靠的来源。

.safetensors 文件是用 numpy 保存的,这意味着它们只是包含张量数据。没有任何代码。加载.safetensors 文件更安全快捷。

emb 模型 嵌入式模型是一种用于生成图片语言理解组件,它可以接受文本提示并产生 token embeddings,模型有多种不同的训练方法,例如
Textual Inversion,Hypernetwork,Dreambooth 和 LoRA,这几种各有优劣势和应用场景。

VAE
模型,具有颜色的校正功能,可以让生成的图像更加鲜艳或者柔和,初化的图像,可能在这个图像的基础上进行细化和改进。低维的隐空间,可以在这个空间中控制图像的风格和特征。

超网络模型(hypernetworks) 可以用来对 Stable-diffusion 的模型进行风格迁移(style transfer)。

LoRA 模型 体积小,适合性能不足的电脑使用,可以用少量的图片训练,训练时间较短,一般用于固定的人物,服装,动作。

模型的安装

官方模型网站 https://huggingface.co

将下载的模型文件放入 stable-diffusion-webui/models/下对应模型类型的文件目录中,在 web UI
的模型选择后面重载,即可看到新加入的模型,models 目录下包含模型,算法,采样器。

关注我,后继会更新更多有趣有用的关于AI相关的课程!

AI绘画商业应用,个人变现项目本人正在试验中,感兴趣的朋友可以下方扫码咨询我。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

文章来源于互联网:Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

常用采样器、目前有20个采样步骤越多每个步之间的降噪越小,减少采样过程中的截断误差,结果越好

学微分方程求解器

Euler(最简单的采样器,采样过程中不加随机噪声,根据采样计划来执行每个步骤中的噪声,并使用欧拉方法减少适当数量的噪声以适应噪声计划,到最后一步为0)、Heun(是对 Euler 的更精确的改进,但需要在每个步骤中预算两次噪声,处理速度相对会更慢一些)、LMS(解决学微分方程的标准方法,采样速度与Euler 相同)

祖先采样器.

随机采样,采样过程具一定的随机性,缺点是图像不收敛

Euler a(在每个步骤中减去比『应该』更多的噪声并添加一些随机的噪声以接近于噪声计划,去噪图像取决于前面步骤添加的特定噪声)、DPM2
a、DPM++2s a、DPM2 a Karras、DPM++ 2S a Karras

官方采样器,最早的采样器算法

DDIM、(使用去噪后的图像来近似最终图像,并使用噪声预测估计的噪声来近似图像方向)PLMS (是 DDIM 的新版且更快速的替代品)DPM 和
DPM++,DPM2(是 katherine Crowson 在 k-diffusion 项目中自创的,灵感来源 DPM-Solever-2 和算法
2,受采样器设置中的 sigma 参数影响) 、DPM2 a(祖先采样器的一种,受采样器的 ETA 参数影响)、DPM++ 2s
a(祖先采样器的一种,受采样器的 ETA 参数影响) 、DPM++ SDE(受采样器的 ETA 参数影响)、DPM fast (用于 steps 小于 20
的情况,受采样器的 ETA 参数影响 )、DPM++ 2M(在速度和质量的平衡最好,代表 m 的多步比上面的 s
单步在采样时会参考更多步,而非当前步所以能有更好的质量)、DPM adaptive (2022 年发布的扩散模型的新采样器,DPM2 比 DPM
更准确但速度较慢,DPM++是对 DPM 的改进,可以自适应的调整步长,但会很慢,不能保证在规定的采样步骤内完成.)

带有 Karras 字样的采样器

使用了噪声时间表,控制每个步骤的噪声水平,随着采样步骤的增加,减少了截断误差

UNiPC

是 2023 年发布的,目前最快速的最新的采样方法 UNiPC sampling steps 10、UNiPC sampling steps
20、UNiPC sampling steps 30受 ODE 求解器中预测校正方法启发 可以在很少的步骤就可以实现高质量图像生成

常用的采样器

DPM++ 2M karras(20-30 步)、unpic(15-25 步)、如果想要高质量的图,不收敛可以选择 DPM++ SED
Karras,DDIM (10-15 步,较快) ,如果要简单的图可以选 Euler,heun 可以减少步骤以节省时间,如果想要稳定可复线的图(Euler
a、DPM2 a、DPM++ 2s a、DPM2 a karras、DPM2 ++ 2s a karras,避免采用任何祖先采样器)

常用模型

二次元代表 :Anything v5、Counterfeit v2.5、Dreamlike Diffusion、

标签与风格关键词:

illustration,painting,sketch,drawing,painting,comic,anime,catoon

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

写实代表:Deliberate、Realistic Vision、LOFI(L.O.F.I)

标签与风格关键词:

photography,photo,realistic,photorealistic,RAW photo

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

2.5D 风代表 :NeverEnding Dream(NED)、Protogen (Realistic) 、国风 V3(GuoFeng3)
、lora 卡通证件照(底模:DreamShaper,06-0.9)

风格关键词:

3D、render、chibi、digital art、concept art、{realistic}

可以使用这些词语为关键词搜索对应的风格模型,也可以使用它们在 Prompt 中激活模型风格特性。

模型扩展名的区分

模型的类型(是装着各种图片的容器)官方模型网站:https://huggingface.co

Stable Diffusion 大模型(*.ckpt) 文件是用 pickle
序例化的。这意味着它有可能会包含恶意代码。加载这类型的模型应该确认可靠的来源。

.safetensors 文件是用 numpy 保存的,这意味着它们只是包含张量数据。没有任何代码。加载.safetensors 文件更安全快捷。

emb 模型 嵌入式模型是一种用于生成图片语言理解组件,它可以接受文本提示并产生 token embeddings,模型有多种不同的训练方法,例如
Textual Inversion,Hypernetwork,Dreambooth 和 LoRA,这几种各有优劣势和应用场景。

VAE
模型,具有颜色的校正功能,可以让生成的图像更加鲜艳或者柔和,初化的图像,可能在这个图像的基础上进行细化和改进。低维的隐空间,可以在这个空间中控制图像的风格和特征。

超网络模型(hypernetworks) 可以用来对 Stable-diffusion 的模型进行风格迁移(style transfer)。

LoRA 模型 体积小,适合性能不足的电脑使用,可以用少量的图片训练,训练时间较短,一般用于固定的人物,服装,动作。

模型的安装

官方模型网站 https://huggingface.co

将下载的模型文件放入 stable-diffusion-webui/models/下对应模型类型的文件目录中,在 web UI
的模型选择后面重载,即可看到新加入的模型,models 目录下包含模型,算法,采样器。

关注我,后继会更新更多有趣有用的关于AI相关的课程!

AI绘画商业应用,个人变现项目本人正在试验中,感兴趣的朋友可以下方扫码咨询我。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

文章来源于互联网:Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

相关推荐: Jenkins 自动化更新Stable Diffusion介绍(GPU)

本文介绍如何使用 Jenkins 自动化更新 Stable Diffusion WebUI 和 Queue Agent 在 Amazon Elastic Kubernetes Service (EKS) 上的部署过程。 步骤解释 1. 登录 ECR aws e…

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】
分享到: 更多 (0)

AI大模型,我们的未来

小欢软考联系我们