AI大模型教程
一起来学习

2Img.ai的AIGC课程-4-7 完美图像放大器StableSR

前言:

放大器StableSR使的增加了另外一种生成4K高清图的能力。

总体来看,这种放大的能力,依赖了一些模型的下载和配置,会让初学者有点感觉复杂。为了更好的帮助大家理解,RA/SD中已经配置好了模型,大家只需要专注在界面截图中的对应配置。

在RA/CU的领域,我们有更简单的实现方式。后续在中级课程中覆盖。更多资源进:2img.ai

知识点:

  1. 4K
  2. 高清图放大

插件介绍

插件对低显存进行了优化,可以在小于12GB显存的环境中进行4K图像放大。

官方地址:GitHub – IceClear/StableSR: [IJCV2024] Exploiting Diffusion Prior for Real-World Image Super-Resolution

本地下载: 

sd-webui-stablesr-master.zip

功能

  1. 高保真图像放大
    • 不修改人物脸部的同时添加非常细致的细节和纹理
    • 适合大多数图片(真实或动漫,摄影作品或AIGC,SD 1.5或Midjourney图片…)
  2. 较少的显存消耗
    • 我移除了官方实现中显存消耗高的模块。
    • 剩下的模型比ControlNet Tile模型小得多,需要的显存也少得多。
    • 当结合Tiled Diffusion & VAE时,你可以在有限的显存(例如,

    注意,sdp可能会不明原因炸显存。建议使用xformers。

  3. 小波分解颜色修正
    • StableSR官方实现有明显的颜色偏移,这一问题在分块放大时更加明显。
    • 我实现了一个强大的后处理技术,有效地匹配放大图像与原图的颜色。请看小波分解颜色修正例子

2 必须模型

我们目前有两个版本。它们产生的细节相似,但是768版本的边缘更自然。

🆕 SD2.1 768 版本
  • 您必须使用 StabilityAI 提供的 Stable Diffusion V2.1 768 EMA 检查点(约5.21GB)
    • 您可以从 HuggingFace 下载它
    • 将其放入 stable-diffusion-webui/models/Stable-Diffusion/ 文件夹中

  • 下载提取后的 StableSR 模块
    • 官方资源
    • 将 StableSR 模块(约400MB)放入 stable-diffusion-webui/extensions/sd-webui-stablesr/models/ 文件夹中

3. 可选组件

  • 安装 Tiled Diffusion & VAE 扩展
    • 原始的 StableSR 对大于 512 的大图像容易出现 OOM。
    • 为了获得更好的质量和更少的 VRAM 使用,我们建议使用 Tiled Diffusion & VAE。
  • 使用官方 VQGAN VAE
    • 官方资源:同2中的链接
    • 我的资源:GoogleDrive> 百度网盘-提取码83u9>
    • 把VQVAE(约750MB大小)放在你的 stable-diffusion-webui/models/VAE 中

  • 如果生成图像尺寸 > 512,我们推荐使用 Tiled Diffusion & VAE,否则,图像质量可能不理想,VRAM 使用量也会很大。
  • 这里是官方推荐的 Tiled Diffusion 设置。
    • 方法 = Mixture of Diffusers
    • 隐空间Tile大小 = 64,隐空间Tile重叠 = 32
    • Tile批大小尽可能大,直到差一点点就炸显存为止。
    • Upscaler必须选择None。
  • 下图是24GB显存的推荐设置。
    • 对于4GB的设备,只需将Tiled Diffusion Latent tile批处理大小改为1,Tiled VAE编码器Tile大小改为1024,解码器Tile大小改为128。
    • SDP注意力优化可能会导致OOM(内存不足),因此推荐使用xformers。
    • 除非你有深入的理解,否则你不要改变Tiled Diffusion & Tiled VAE中的其他设置。这些参数对于StableSR基本上是最优解。

RA/SD 衍生者AI训练营

文章来源于互联网:2Img.ai的AIGC课程-4-7 完美图像放大器StableSR

相关推荐: 周报 | 24.7.29-24.8.4文章汇总

为了更好地整理文章和发表接下来的文章,以后每周都汇总一份周报。 周报 | 24.7.22-24.7.28文章汇总-CSDN博客 DataFunTalk | AI Agent 在 1688 电商平台中的应用-CSDN博客 Coggle数据科学 | Kaggle赛…

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » 2Img.ai的AIGC课程-4-7 完美图像放大器StableSR
分享到: 更多 (0)

AI大模型,我们的未来

小欢软考联系我们