AI绘图Stable Diffusion中关键技术：U-Net的应用

你好，我是郭震

引言

在人工智能和深度学习的迅猛发展下，图像生成技术已经取得了令人瞩目的进展。特别是，Stable Diffusion模型以其文本到图像的生成能力吸引了广泛关注。本文将深入探讨Stable Diffusion中一个关键技术——U-Net架构的应用，揭示它如何在生成细节丰富且与文本描述紧密相连的图像中发挥核心作用。

U-Net架构概述

U-Net最初设计用于医学图像分割，其特点是一种对称的编码器-解码器结构，中间通过跳跃连接直接传递特征图。这种结构能够在图像的不同层次中保留丰富的细节信息，是U-Net在图像处理任务中表现出色的关键。

Unet提出的初衷是为了解决医学图像分割的问题；一种U型的网络结构来获取上下文的信息和位置信息；在2015年的ISBI cell tracking比赛中获得了多个第一，一开始这是为了解决细胞层面的分割的任务的。

这个结构的巧妙之处，通过下面例子我们看下：

说一开始的图片是224×224的，那么就会变成112×112，56×56,28×28,14×14四个不同尺寸的特征。然后我们对14×14的特征图做上采样或者反卷积，得到28×28的特征图，这个28×28的特征图与之前的28×28的特征图进行通道上的拼接concat，

然后再对拼接之后的特征图做卷积和上采样，得到56×56的特征图，

再与之前的56×56的特征拼接，卷积，再上采样，经过四次上采样可以得到一个与输入图像尺寸相同的224×224的预测结果。

归纳下U-Net：