LuYF-Lemon-love の Blog
  文章分类
计算机基础 32 实用技巧 9 C/C++和Python混合编程 6 硬件 1 博客 4 C++ 14 杂项 19 Python 73 Paper 30 大语言模型 108 PyTorch 10 动态壁纸 4 干饭 9 Linux 11 人工智能 3 Verilog 4 基础软件 3 数学 2 刷题 2
00202 Hugging Face 常用函数 00202 Hugging Face 常用函数
前言简单的介绍Hugging Face - 常用函数。 Operating System: Ubuntu 22.04.4 LTS transformersHfArgumentParserapi link: https://huggingfa
2024-10-17 大语言模型
深度学习 大语言模型 huggingface
00201 Hugging Face Llama Recipes - Fine Tuning 00201 Hugging Face Llama Recipes - Fine Tuning
前言简单的介绍如何Fine Tuning Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Llama Models: ht
2024-10-16 大语言模型
深度学习 大语言模型 huggingface
00199 Hugging Face Llama Recipes - Local Inference 00199 Hugging Face Llama Recipes - Local Inference
前言简单的介绍如何Local Inference Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Operating Sy
2024-10-14 大语言模型
深度学习 大语言模型 huggingface
00198 Hugging Face Llama Recipes - Getting Started 00198 Hugging Face Llama Recipes - Getting Started
前言简单的介绍如何快速运行Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Operating System: Ubuntu
2024-10-14 大语言模型
深度学习 大语言模型 huggingface
00196 加载文本数据 00196 加载文本数据
前言这份指南向您展示了如何加载文本数据集。要想了解如何加载任何类型的数据集，请查阅通用加载指南。 文本文件是存储数据集最常见的文件类型之一。默认情况下，🤗 Datasets 逐行采样文本文件以构建数据集。 >>> from dataset
2024-10-10 大语言模型
深度学习 大语言模型 huggingface
00195 创建数据集 00195 创建数据集
前言有时，如果您正在使用自己的数据，可能需要创建一个数据集。使用🤗 Datasets创建数据集可以让您的数据集享受到库的所有优势：快速加载和处理、流式处理大型数据集、内存映射等等。您可以使用🤗 Datasets的低代码方法轻松快速地创建
2024-10-10 大语言模型
深度学习 大语言模型 huggingface
00194 NLP Course - Sequence-to-sequence models 00194 NLP Course - Sequence-to-sequence models
前言编码器-解码器模型（也称为序列到序列模型）使用了Transformer架构的两部分。在每一个阶段，编码器的注意力层可以访问初始句子中的所有单词，而解码器的注意力层只能访问输入中给定单词之前的单词。 这些模型的预训练可以使用编码器或解码器
2024-10-09 大语言模型
深度学习 大语言模型 huggingface
00193 NLP Course - Decoder models 00193 NLP Course - Decoder models
前言解码器模型仅使用Transformer模型的解码器。在每一个阶段，对于给定的单词，注意力层只能访问句子中位于它之前的单词。这些模型通常被称为自回归模型。 解码器模型的预训练通常围绕着预测句子中的下一个单词进行。 这些模型最适合涉及文本生
2024-10-09 大语言模型
深度学习 大语言模型 huggingface
00192 NLP Course - Encoder models 00192 NLP Course - Encoder models
前言编码器模型仅使用Transformer模型的编码器部分。在每一个阶段，注意力层都可以访问初始句子中的所有单词。这些模型通常被描述为具有“双向”注意力，并且常常被称为自编码模型。 这些模型的预训练通常围绕着以某种方式破坏给定的句子（例如，
2024-10-09 大语言模型
深度学习 大语言模型 huggingface
00189 TRL - Supervised Fine-tuning Trainer 00189 TRL - Supervised Fine-tuning Trainer
前言介绍监督微调训练器。 监督式微调（简称SFT）是RLHF（人类反馈强化学习）中的关键步骤。在TRL（Transformers Reinforcement Learning）中，我们提供了一个易于使用的API，您可以使用几行代码在您的数
2024-10-06 大语言模型
深度学习 大语言模型 huggingface
00180 NLP Course - How do Transformers work? 00180 NLP Course - How do Transformers work?
前言在本节中，我们将高层次地了解Transformer模型的体系结构。 src link: https://huggingface.co/learn/nlp-course/chapter1/4 Operating System: Ubunt
2024-10-03 大语言模型
深度学习 大语言模型 huggingface
00179 NLP Course - Transformers, what can they do? 00179 NLP Course - Transformers, what can they do?
前言在本节中，我们将看看Transformer模型可以做什么，并使用🤗Transformers库中的第一个工具：pipeline()函数。 src link: https://huggingface.co/learn/nlp-course
2024-10-03 大语言模型
深度学习 大语言模型 huggingface
6 / 9