LuYF-Lemon-love の Blog
  文章分类
计算机基础 32 实用技巧 9 C/C++和Python混合编程 6 硬件 1 博客 4 C++ 14 杂项 19 Python 73 Paper 29 大语言模型 108 PyTorch 10 动态壁纸 4 干饭 9 Linux 11 人工智能 3 Verilog 4 基础软件 3 数学 2 刷题 2
00334 accelerator.gather和accelerator.wait_for_everyone 00334 accelerator.gather和accelerator.wait_for_everyone
前言介绍accelerator.gather函数和accelerator.wait_for_everyone函数 Operating System: Ubuntu 22.04.4 LTS accelerator.gatheraccelera
2025-05-05 大语言模型
深度学习 大语言模型 huggingface
00333 NLP Course - Training a causal language model from scratch 00333 NLP Course - Training a causal language model from scratch
前言到目前为止，我们主要使用预训练模型，并通过重用预训练的权重来微调它们以适用于新的用例。正如我们在第一章中看到的，这通常被称为迁移学习，这是一种非常成功的策略，用于将Transformer模型应用于大多数现实世界的用例，其中标记数据稀缺。
2025-05-05 大语言模型
深度学习 大语言模型 huggingface
00332 NLP Course - Summarization 00332 NLP Course - Summarization
前言在这一部分，我们将探讨如何使用Transformer模型将长文档浓缩成摘要，这一任务被称为文本摘要。这是自然语言处理中最具挑战性的任务之一，因为它需要多种能力，如理解长篇文章并生成连贯的文本，抓住文档中的主要主题。然而，当做得好时，文本
2025-05-03 大语言模型
深度学习 大语言模型 huggingface
00331 NLP Course - Introduction 00331 NLP Course - Introduction
前言在第3章中，你了解了如何微调文本分类模型。在本章中，我们将探讨以下常见的语言任务，这些任务对于使用传统的NLP模型和现代的LLM都至关重要： Token classification Masked language modeling
2025-05-03 大语言模型
深度学习 大语言模型 huggingface
00330 NLP Course - Tokenizers, check! 00330 NLP Course - Tokenizers, check!
前言完成这一章做得很棒！ 在深入研究了令牌化器之后，你应该： 能够使用旧的令牌化器作为模板来训练新的令牌化器。 了解如何使用偏移量来将令牌的位置映射到它们在原始文本中的范围。 了解 BPE、WordPiece 和 Unigram 之间的区
2025-05-03 大语言模型
深度学习 大语言模型 huggingface
00329 从零开始编写 GRPO 00329 从零开始编写 GRPO
前言从零开始编写 GRPO：使用 Qwen2.5-1.5B-Instruct 进行分布式实现的指南 在这个教程中，我们展示了如何使用 GRPO（Group Relative Policy Optimization）方法构建一个分布式强化学
2025-04-28 大语言模型
深度学习 大语言模型 huggingface
00323 QwQ-32B: 领略强化学习之力 00323 QwQ-32B: 领略强化学习之力
前言QwQ-32B: 领略强化学习之力。 QWEN CHAT: https://chat.qwen.ai/ Hugging Face: https://huggingface.co/Qwen/QwQ-32B ModelScope: htt
2025-04-20 大语言模型
深度学习 大语言模型
00322 Inference - Chat with models - Templates 学习笔记 00322 Inference - Chat with models - Templates 学习笔记
前言聊天管道指南介绍了TextGenerationPipeline以及与模型对话的聊天提示或聊天模板的概念。在这个高级管道的背后，是apply_chat_template方法。聊天模板是tokenizer的一部分，它指定了如何将对话转换为预
2025-04-19 大语言模型
深度学习 大语言模型 huggingface
00321 Inference - Chat with models - Chat basics 学习笔记 00321 Inference - Chat with models - Chat basics 学习笔记
前言聊天模型是指你可以发送和接收消息的对话模型。有许多聊天模型可供选择，但一般来说，更大的模型往往表现更好，不过情况并非总是如此。模型大小通常包含在名称中，如“8B”或“70B”，它描述了参数的数量。混合专家模型（MoE）的名称如“8x7B
2025-04-19 大语言模型
深度学习 大语言模型 huggingface
00316 NLP Course - Building a tokenizer, block by block 00316 NLP Course - Building a tokenizer, block by block
前言正如我们在前面的部分所看到的，分词包括几个步骤： 标准化（对文本进行必要的清理，例如删除空格或重音、Unicode 标准化等） 预分词（将输入分解为单词） 通过模型运行输入（使用预分词的单词生成一系列标记） 后处理（添加分词器的特殊标
2025-03-23 大语言模型
深度学习 大语言模型 huggingface
00315 NLP Course - Unigram tokenization 00315 NLP Course - Unigram tokenization
前言Unigram算法通常用于SentencePiece中，这是AlBERT、T5、mBART、Big Bird和XLNet等模型使用的分词算法。 💡 本节深入介绍了Unigram算法，甚至展示了一个完整的实现。如果您只想了解分词算法的
2025-03-22 大语言模型
深度学习 大语言模型 huggingface
00314 NLP Course - WordPiece tokenization 00314 NLP Course - WordPiece tokenization
前言WordPiece是谷歌开发用于预训练BERT的标记化算法。自那以后，它在许多基于BERT的Transformer模型中得到了重新使用，例如DistilBERT、MobileBERT、Funnel Transformers和MPNET。
2025-03-22 大语言模型
深度学习 大语言模型 huggingface
1 / 9