5bei.cn大模型教程网0. 前言
我们在 GPT (Generative Pre-trained Transformer) 一节所构建的 GPT 模型是一个解码器 Transformer，它逐字符地生成文本字符串，并使用因果掩码只关注输入字符串中的前一个单词。另一些编码器 Transformer，不使用因果掩码，而是关注整个输入字符串以提取有意义的上下文表示。对于一些其他任务，如语言翻译，可以使用编码器-解码器 Transformer，将一个文本字符串翻译为另一个文本字符串，这类模型包含编码器 Transformer 块和解码器 Transformer 块。下表总结了三种类型的 Transformer 模型，其中列出了每种架构的典型模型和用途。
| 类型 | 典型模型 | 应用 |
|---|---|---|
| Encoder | BERT | 文本分类，命名实体识别，抽取式问答 |
| Encoder-Decoder | T5 | 翻译，问答 |
| Decoder | GPT-3 | 文本生成 |
编码器 Transformer 的一个经典模型是 Google 开发的双向编码器自注意力转换 (Bidirectional Encoder Represent
文章来源于互联网:AIGC实战——Transformer模型
相关推荐: 【AI绘画Stable Diffusion】高清图像放大+面部修复+一键抠图，谈谈你可能不知道的优化技巧！
一提起后期处理，我猜你可能立马想到的就是图像放大。 今天，我要向你展示的后期处理手法，以及优化技巧。 图片放大算法 如果你常用的是秋叶大佬的整合包，那么你对”R-ESRGAN 4x+”和”R-ESRGAN 4x+ Anime6B”应该不会陌生。 R-ESRGA…
