LuYF-Lemon-love の Blog
00263 NLP Course - Normalization and pre-tokenization 00263 NLP Course - Normalization and pre-tokenization
前言在深入探讨 Transformer 模型中常用的三种最常见的子词分词算法（Byte-Pair Encoding [BPE]，WordPiece 和 Unigram）之前，我们首先来看看每个分词器对文本应用的预处理步骤。以下是分词管道中步
2025-01-11 大语言模型
深度学习 大语言模型 huggingface
00262 roc_auc_score 函数 00262 roc_auc_score 函数
前言roc_auc_score 函数. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍roc_auc_score 是一个在机器学习中常用的评估指标，它用于衡量分类模型的好坏，特别是在不平衡数据集的情况
2025-01-11 人工智能
深度学习
00261 Python __hash__ 方法 00261 Python __hash__ 方法
前言Python __hash__ 方法. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍在Python中，__hash__ 方法是一个特殊的方法，用于定义一个类的实例如何被哈希化。哈希化是用于快速比
2025-01-11 Python
Python
00260 Python UUID 函数 00260 Python UUID 函数
前言Python UUID 函数. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍在Python中，UUID（Universally Unique Identifier）是一种用于生成唯一标识符的机制
2025-01-11 Python
Python
00259 Python 堆队列算法 00259 Python 堆队列算法
前言Python 堆队列算法. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍heapq 是 Python 标准库中的一个模块，它提供了堆队列算法的实现，也称为优先队列算法。在 Python 中，he
2025-01-09 Python
Python
00258 混淆矩阵 00258 混淆矩阵
前言混淆矩阵. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍混淆矩阵（Confusion Matrix），也称为错误矩阵，是一种特别适用于监督学习的评估分类模型性能的工具，尤其是在分类问题中。混淆矩
2025-01-09 人工智能
深度学习
00257 tmux 入门学习笔记 00257 tmux 入门学习笔记
前言TMUX入门学习笔记。 Operating System: Ubuntu 22.04.4 LTS 参考文档一、TMUX简介TMUX是一个开源的终端复用器，它允许用户在单个终端窗口中创建、访问和控制多个终端会话。TMUX具有窗口拆分、会话
2025-01-01 Linux
Linux
00256 ping 不通 Github 00256 ping 不通 Github
前言无法 ping Github。 Operating System: Ubuntu 22.04.4 LTS 参考文档 网页能看github，但是ping不通 步骤 修改 hosts 文件 #修改 /etc/hosts sudo vim
2025-01-01 计算机基础
Git
00255 Python 实用自定义便利函数 00255 Python 实用自定义便利函数
前言Python 实用自定义便利函数。 Operating System: Ubuntu 22.04.4 LTS 参考文档递归删除空文件夹在Python中，可以使用os模块来递归删除空文件夹。以下是一个示例函数，它会检查每个文件夹，如果文件
2025-01-01 Python
Python
00254 NLP Course - Fast tokenizers in the QA pipeline 00254 NLP Course - Fast tokenizers in the QA pipeline
前言我们现在将深入问答管道，看看如何利用偏移量从上下文中抓取手头问题的答案，就像我们在上一节中对分组实体所做的那样。然后，我们将了解如何处理被截断的非常长的上下文。如果你对问答任务不感兴趣，可以跳过这一节。 src link: https:
2025-01-01 大语言模型
深度学习 大语言模型 huggingface
00253 Monte Carlo Tree Search算法 00253 Monte Carlo Tree Search算法
前言介绍 Monte Carlo Tree Search 算法。 Operating System: Ubuntu 22.04.4 LTS 介绍Monte Carlo Tree Search（MCTS）算法是一种用于决策过程的启发式搜索算法
2024-12-30 人工智能
强化学习
00252 NLP Course - Fast tokenizers’ special powers 00252 NLP Course - Fast tokenizers’ special powers
前言在本节中，我们将更深入地了解🤗 Transformers中的分词器的功能。到目前为止，我们只使用它们来分词输入或将ID解码回文本，但分词器——特别是那些由🤗 Tokenizers库支持的分词器——可以做更多的事情。为了说明这些附加功
2024-12-24 大语言模型
深度学习 大语言模型 huggingface
8 / 29