AIGC实战——多模态模型Flamingo

0. 前言

我们已经学习了文本生成图像模型 DALL.E 2，在本节中，我们将探索另一种多模态模型 Flamingo，它可以根据给定文本和视觉数据流生成文本。Flamingo 是 DeepMind 在 2022 年提出的一类视觉语言模型 (Visual Language Model, VLM)，它是预训练的纯视觉模型和纯语言模型之间的桥梁。在本节中，我们将介绍 Flamingo 模型的架构，并将其与所学习的文本生成图像模型进行比较。

1. Flamingo 架构

Flamingo 的整体架构如下图所示。接下来，我们将对该模型的核心组件，视觉编码器、Perceiver 重采样器和语言模式进行介绍，以了解 Flamingo 的核心思想。

文章来源于互联网:AIGC实战——多模态模型Flamingo

相关推荐: 每日AIGC最新进展(11)：角色脸妆生成、防止微调Stable Diffusion过拟合的方法、通过 3D Gaussian Splatting 进行特定于说话者的头部说话合成

Diffusion Models专栏文章汇总：入门与实战 Gorgeous: Create Your Desired Character Facial Makeup from Any Ideas https://arxiv.org/abs/2404.13944…