AIGC实战——多模态模型Flamingo
0. 前言 1. Flamingo 架构 2. 视觉编码器 3. Perceiver 重采样器 4. 语言模型 5. FIamingo 应用 小结 系列链接
0. 前言
我们已经学习了文本生成图像模型 DALL.E 2,在本节中,我们将探索另一种多模态模型 Flamingo
,它可以根据给定文本和视觉数据流生成文本。Flamingo
是 DeepMind
在 2022
年提出的一类视觉语言模型 (Visual Language Model
, VLM
),它是预训练的纯视觉模型和纯语言模型之间的桥梁。在本节中,我们将介绍 Flamingo
模型的架构,并将其与所学习的文本生成图像模型进行比较。
1. Flamingo 架构
Flamingo
的整体架构如下图所示。接下来,我们将对该模型的核心组件,视觉编码器、Perceiver
重采样器和语言模式进行介绍,以了解 Flamingo
的核心思想。