LuYF-Lemon-love の Blog
00226 NLP Course - What if my dataset isn’t on the Hub? 00226 NLP Course - What if my dataset isn’t on the Hub?
前言你知道如何使用Hugging Face Hub下载数据集，但很多时候你会发现自己正在处理存储在你笔记本电脑或远程服务器上的数据。在本节中，我们将向你展示如何使用🤗 Datasets来加载数据集，即使这些数据集在Hugging Face
2024-11-17 大语言模型
深度学习 大语言模型 huggingface
00225 NLP Course - Introduction 00225 NLP Course - Introduction
前言在第三章中，你首次体验了🤗 Datasets库，并看到了微调模型时的三个主要步骤： 从Hugging Face Hub加载一个数据集。 使用Dataset.map()预处理数据。 加载并计算指标。 但这只是🤗 Datasets库
2024-11-17 大语言模型
深度学习 大语言模型 huggingface
00224 NLP Course - Part 1 completed! 00224 NLP Course - Part 1 completed!
前言这是课程第一部分的结束！第二部分将在11月15日发布，届时将有一个大型社区活动，更多信息请点击这里查看。 你现在应该能够在一个文本分类问题（单个或成对的句子）上对预训练模型进行微调，并将结果上传到模型中心。为了确保你掌握了这一部分，你应
2024-11-14 大语言模型
深度学习 大语言模型 huggingface
00223 NLP Course - Building a model card 00223 NLP Course - Building a model card
前言模型卡是模型仓库中与模型和分词器文件同等重要的文件。它是模型的中心定义，确保了社区成员的可重用性和结果的再现性，并为其他成员提供了一个构建他们工件的平台。 记录训练和评估过程有助于他人了解对模型的期望——并提供足够的信息关于使用的数据以
2024-11-10 大语言模型
深度学习 大语言模型 huggingface
00222 NLP Course - Sharing pretrained models 00222 NLP Course - Sharing pretrained models
前言在下面的步骤中，我们将看看分享预训练模型到🤗 Hub的最简单方法。有一些工具和实用程序可以帮助我们在Hub上轻松地分享和更新模型，我们将在下面进行探索。 我们鼓励所有训练模型的用户通过分享它们来为社区做出贡献——即使是在非常特定的数据
2024-11-04 大语言模型
深度学习 大语言模型 huggingface
00221 NLP Course - Using pretrained models 00221 NLP Course - Using pretrained models
前言模型中心（Model Hub）简化了选择合适模型的过程，使得在任何下游库中使用这些模型只需几行代码。让我们来看看如何实际使用这些模型，以及如何回馈社区。 假设我们正在寻找一个基于法语的模型，能够执行掩码填充任务。 我们选择camemb
2024-11-04 大语言模型
深度学习 大语言模型 huggingface
00220 NLP Course - The Hugging Face Hub 00220 NLP Course - The Hugging Face Hub
前言Hugging Face Hub —— 我们的主网站 —— 是一个中央平台，使任何人都能发现、使用和贡献新的最先进模型和数据集。它托管了各种类型的模型，公开可用的超过10,000个。我们将在本章中关注这些模型，并在第5章中查看数据集。
2024-11-03 大语言模型
深度学习 大语言模型 huggingface
00219 NLP Course - Fine-tuning, Check! 00219 NLP Course - Fine-tuning, Check!
前言这很有趣！在前两章中，你学习了关于模型和分词器的知识，现在你知道如何针对自己的数据对它们进行微调。回顾一下，在这一章中你： 学习了Hub中的数据集 学习了如何加载和预处理数据集，包括使用动态填充和整理器 实现了自己的模型微调和评估 实
2024-11-03 大语言模型
深度学习 大语言模型 huggingface
00218 NLP Course - A full training 00218 NLP Course - A full training
前言现在我们将看到如何在不使用Trainer类的情况下，获得与上一部分相同的结果。再次提醒，我们假设你已经完成了第二部分的数据处理。下面是一个涵盖你所需要的一切的简短总结： from datasets import load_dataset
2024-11-02 大语言模型
深度学习 大语言模型 huggingface
00217 NLP Course - Fine-tuning a model with the Trainer API 00217 NLP Course - Fine-tuning a model with the Trainer API
前言🤗 Transformers 提供了一个 Trainer 类，帮助您在您自己的数据集上微调它提供的任何预训练模型。一旦您完成了上一节中的所有数据预处理工作，您只需几个步骤就可以定义 Trainer 了。最困难的部分可能是准备运行 Tr
2024-10-30 大语言模型
深度学习 大语言模型 huggingface
00216 NLP Course - Processing the data 00216 NLP Course - Processing the data
前言继续上一章的例子，以下是我们在 PyTorch 中如何在一个批次上训练序列分类器的步骤： import torch from transformers import AdamW, AutoTokenizer, AutoModelForS
2024-10-29 大语言模型
深度学习 大语言模型 huggingface
00215 NLP Course - Introduction 00215 NLP Course - Introduction
前言在第2章中，我们探讨了如何使用分词器和预训练模型来做出预测。但是，如果你想要针对自己的数据集微调一个预训练模型呢？这就是本章的主题！你将学习： 如何从 Hub 准备大型数据集 如何使用高级 Trainer API 微调模型 如何使用自
2024-10-28 大语言模型
深度学习 大语言模型 huggingface
9 / 27