前言

编码器-解码器模型（也称为序列到序列模型）使用了Transformer架构的两部分。在每一个阶段，编码器的注意力层可以访问初始句子中的所有单词，而解码器的注意力层只能访问输入中给定单词之前的单词。

这些模型的预训练可以使用编码器或解码器模型的目标来进行，但通常涉及更复杂的方法。例如，T5模型通过用单个特殊掩码词替换文本中的随机跨度（可能包含多个单词）来进行预训练，然后目标就是预测这个掩码词所替代的文本。

序列到序列模型最适合围绕根据给定输入生成新句子的任务，例如摘要、翻译或生成式问题回答。

这个家族模型的代表包括：

src link: https://huggingface.co/learn/nlp-course/chapter1/7

Operating System: Ubuntu 22.04.4 LTS

参考文档

  1. NLP Course - Sequence-to-sequence models

结语

第一百九十四篇博文写完，开心！！！！

今天，也是充满希望的一天。