LuYF-Lemon-love の Blog
00254 NLP Course - Fast tokenizers in the QA pipeline 00254 NLP Course - Fast tokenizers in the QA pipeline
前言我们现在将深入问答管道，看看如何利用偏移量从上下文中抓取手头问题的答案，就像我们在上一节中对分组实体所做的那样。然后，我们将了解如何处理被截断的非常长的上下文。如果你对问答任务不感兴趣，可以跳过这一节。 src link: https:
2025-01-01 大语言模型
深度学习 大语言模型 huggingface
00253 Monte Carlo Tree Search算法 00253 Monte Carlo Tree Search算法
前言介绍 Monte Carlo Tree Search 算法。 Operating System: Ubuntu 22.04.4 LTS 介绍Monte Carlo Tree Search（MCTS）算法是一种用于决策过程的启发式搜索算法
2024-12-30 人工智能
强化学习
00252 NLP Course - Fast tokenizers’ special powers 00252 NLP Course - Fast tokenizers’ special powers
前言在本节中，我们将更深入地了解🤗 Transformers中的分词器的功能。到目前为止，我们只使用它们来分词输入或将ID解码回文本，但分词器——特别是那些由🤗 Tokenizers库支持的分词器——可以做更多的事情。为了说明这些附加功
2024-12-24 大语言模型
深度学习 大语言模型 huggingface
00251 NLP Course - Training a new tokenizer from an old one 00251 NLP Course - Training a new tokenizer from an old one
前言如果你感兴趣的语言中没有语言模型，或者你的语料库与你的语言模型训练的语料库非常不同，你很可能会想使用适合你数据的标记器从头开始重新训练模型。这将需要在你的数据集上训练一个新的标记器。但这究竟意味着什么呢？当我们在第二章中第一次查看标记器
2024-12-22 大语言模型
深度学习 大语言模型 huggingface
00250 NLP Course - Introduction 00250 NLP Course - Introduction
前言在第三章中，我们探讨了如何在给定任务上微调模型。当我们这样做时，我们使用与模型预训练时相同的标记器——但是，当我们想从头开始训练一个模型时，我们该怎么办呢？在这些情况下，使用在其他领域或语言语料库上预训练的标记器通常不是最佳选择。例如，
2024-12-22 大语言模型
深度学习 大语言模型 huggingface
00249 NLP Course - 🤗 Datasets, check! 00249 NLP Course - 🤗 Datasets, check!
前言哇，这真是一次穿越🤗 Datasets库的旅程——恭喜你走了这么远！从本章中获得的知识，你应该能够： 从任何地方加载数据集，无论是Hugging Face Hub、你的笔记本电脑，还是你公司的远程服务器。 使用Dataset.map
2024-12-22 大语言模型
深度学习 大语言模型 huggingface
00248 获取计算机BIOS的序列号 00248 获取计算机BIOS的序列号
前言获取计算机BIOS的序列号。 Operating System: Ubuntu 22.04.4 LTS 介绍在Windows操作系统中，wmic 是“Windows Management Instrumentation Command-
2024-12-22 实用技巧
Windows
00247 ubuntu内存查看方法 00247 ubuntu内存查看方法
前言ubuntu内存查看方法。 Operating System: Ubuntu 22.04.4 LTS 介绍在Ubuntu系统中，您可以通过多种方式来查看内存使用情况。以下是一些常用的命令行方法： 使用free命令打开终端，输入以下命令
2024-12-21 Linux
Linux
00246 ubuntu安装常见的c++环境 00246 ubuntu安装常见的c++环境
前言ubuntu安装常见的c++环境。 Operating System: Ubuntu 22.04.4 LTS 介绍在Ubuntu上安装C++开发环境，您需要安装编译器、调试器以及其他一些可能用到的库和工具。以下是一些常见的步骤： 更新
2024-12-21 C++
C++
00245 新建git仓库 00245 新建git仓库
前言新建git仓库，并将仓库的内容强制推送到github的远程仓库。 Operating System: Ubuntu 22.04.4 LTS 介绍要在GitHub上新建一个Git仓库并将本地仓库的内容强制推送到GitHub的远程仓库，请按
2024-12-21 计算机基础
Git
00244 inspect.signature 函数 00244 inspect.signature 函数
前言inspect.signature 函数。 Operating System: Ubuntu 22.04.4 LTS 介绍inspect.signature 是 Python 标准库 inspect 模块中的一个函数，它用于获取一个函数
2024-12-21 Python
Python
00243 NLP Course - Semantic search with FAISS 00243 NLP Course - Semantic search with FAISS
前言在第5节中，我们创建了来自🤗 Datasets仓库的GitHub问题和评论的数据集。在本节中，我们将使用这些信息构建一个搜索引擎，帮助我们找到关于库的最紧迫问题的答案！ src link: https://huggingface.co
2024-12-12 大语言模型
深度学习 大语言模型 huggingface
8 / 29