前言

在进入Transformer模型之前，让我们快速概述一下什么是自然语言处理以及我们为什么关心它。

src link: https://huggingface.co/learn/nlp-course/chapter1/2

Operating System: Ubuntu 22.04.4 LTS

参考文档

  1. NLP Course - Natural Language Processing

什么是NLP？

NLP是一个语言学和机器学习领域，专注于理解与人类语言相关的一切。NLP任务的目的不仅仅是单独理解单个单词，而是能够理解这些单词的上下文。

以下是常见的NLP任务列表，并附有每个任务的一些示例：

  • 对整个句子进行分类：获取评论的情绪，检测电子邮件是否是垃圾邮件，确定句子在语法上是否正确或两个句子是否在逻辑上相关
  • 对句子中的每个单词进行分类：识别句子的语法成分（名词、动词、形容词）或命名实体（人、位置、组织）
  • 生成文本内容：用自动生成的文本完成提示，填充带有屏蔽词的文本中的空白
  • 从文本中提取答案：给定一个问题和一个上下文，根据上下文中提供的信息提取问题的答案
  • 从输入文本生成新句子：将文本翻译成另一种语言，总结文本

NLP不仅限于书面文本。它还解决了语音识别和计算机视觉中的复杂挑战，例如生成音频样本的抄本或图像的描述。

为什么它具有挑战性？

计算机处理信息的方式与人类不同。例如，当我们阅读句子“我饿了”时，我们可以很容易地理解它的意思。同样，给定两个句子，如“我饿了”和“我很难过”，我们能够很容易地确定它们有多相似。对于机器学习（ML）模型，这样的任务更加困难。文本需要以一种使模型能够从中学习的方式进行处理。并且由于语言很复杂，我们需要仔细思考必须如何进行这种处理。关于如何表示文本已经做了很多研究，我们将在下一章中介绍一些方法。

结语

第一百七十八篇博文写完，开心！！！！

今天，也是充满希望的一天。