前言

太棒了，你一直跟到了这里！回顾一下，在本章中你学习了：

  • 学习了 Transformer 模型的基本构建块。
  • 了解了组成分词管道的内容。
  • 看到了如何在实际中使用 Transformer 模型。
  • 学习了如何利用分词器将文本转换为模型可以理解的张量。
  • 设置了一个分词器和一个模型，一起从文本得到预测。
  • 了解了输入 ID 的局限性，并学习了注意力掩码。
  • 尝试了灵活且可配置的分词器方法。

从现在开始，你应该能够自由浏览 🤗 Transformers 文档：词汇对你来说会显得熟悉，而且你已经看到了你大部分时间会使用的方法。

src link: https://huggingface.co/learn/nlp-course/chapter2/7

Operating System: Ubuntu 22.04.4 LTS

参考文档

  1. NLP Course - Basic usage completed!

结语

第二百一十四篇博文写完，开心！！！！

今天，也是充满希望的一天。