【学习笔记】文生图模型——Stable diffusion3.0

2.0原理才看到VAE，sd3.0就发布了，虽然还没看到源码和详解，但原来的那个小方向估计得弃。人已经麻了。

1.LDMs模型（stable diffusion≈LDMs+CLIP）

2.stable diffusion3.0模型架构图

3.主要改进地方

①前向加噪过程：引入了新的噪声采样器用于改善Rectified Flow训练，该方法优化了噪声的分布和添加方式。

②采样过程：基于Transformer的MM-DiT新架构，取代了原模型中的U-Net预测噪声，与Sora同源。该架构考虑了文本到图像任务的多模态特性。

3.1 Rectified Flow

Rectified Flow作为前向路径的一个特别选择，它通过直线连接数据和噪声，简化了数据和噪声之间的转换。

Rectified Flow模型通过构建两个分布之间的常微分方程（ODE）的传输映射来处理生成建模。

先前版本里，Stable Diffusion生成模型训练时使用的是LDM-Linear，通过线性变换来模拟扩散过程中的数据转为噪声的随机分布，需要为每个时间步长求解ODE。每一步都

文章来源于互联网:【学习笔记】文生图模型——Stable diffusion3.0

相关推荐: 艾体宝产品丨加速开发！Redis Copilot智能助手上线

我们最近发布了 Redis Copilot，旨在帮助开发者更加高效地使用 Redis 构建应用。提升应用性能，简化构建过程是我们不懈的追求。Redis Copilot 正是为此而生的人工智能助手，助力开发者迅速掌握 Redis 的使用技巧。现在您可以在 Red…