前言

解码器模型仅使用Transformer模型的解码器。在每一个阶段，对于给定的单词，注意力层只能访问句子中位于它之前的单词。这些模型通常被称为自回归模型。

解码器模型的预训练通常围绕着预测句子中的下一个单词进行。

这些模型最适合涉及文本生成的任务。

这个家族模型的代表包括：

src link: https://huggingface.co/learn/nlp-course/chapter1/6

Operating System: Ubuntu 22.04.4 LTS

参考文档

  1. NLP Course - Decoder models

结语

第一百九十三篇博文写完，开心！！！！

今天，也是充满希望的一天。