LuYF-Lemon-love の Blog
00263 NLP Course - Normalization and pre-tokenization 00263 NLP Course - Normalization and pre-tokenization
前言在深入探讨 Transformer 模型中常用的三种最常见的子词分词算法(Byte-Pair Encoding [BPE],WordPiece 和 Unigram)之前,我们首先来看看每个分词器对文本应用的预处理步骤。以下是分词管道中步
00262 roc_auc_score 函数 00262 roc_auc_score 函数
前言roc_auc_score 函数. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍roc_auc_score 是一个在机器学习中常用的评估指标,它用于衡量分类模型的好坏,特别是在不平衡数据集的情况
2025-01-11
00261 Python __hash__ 方法 00261 Python __hash__ 方法
前言Python __hash__ 方法. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍在Python中,__hash__ 方法是一个特殊的方法,用于定义一个类的实例如何被哈希化。哈希化是用于快速比
2025-01-11
00260 Python UUID 函数 00260 Python UUID 函数
前言Python UUID 函数. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍在Python中,UUID(Universally Unique Identifier)是一种用于生成唯一标识符的机制
2025-01-11
00259 Python 堆队列算法 00259 Python 堆队列算法
前言Python 堆队列算法. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍heapq 是 Python 标准库中的一个模块,它提供了堆队列算法的实现,也称为优先队列算法。在 Python 中,he
2025-01-09
00258 混淆矩阵 00258 混淆矩阵
前言混淆矩阵. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍混淆矩阵(Confusion Matrix),也称为错误矩阵,是一种特别适用于监督学习的评估分类模型性能的工具,尤其是在分类问题中。混淆矩
2025-01-09
00257 tmux 入门学习笔记 00257 tmux 入门学习笔记
前言TMUX入门学习笔记。 Operating System: Ubuntu 22.04.4 LTS 参考文档一、TMUX简介TMUX是一个开源的终端复用器,它允许用户在单个终端窗口中创建、访问和控制多个终端会话。TMUX具有窗口拆分、会话
2025-01-01
00256 ping 不通 Github 00256 ping 不通 Github
前言无法 ping Github。 Operating System: Ubuntu 22.04.4 LTS 参考文档 网页能看github,但是ping不通 步骤 修改 hosts 文件 #修改 /etc/hosts sudo vim
00255 Python 实用自定义便利函数 00255 Python 实用自定义便利函数
前言Python 实用自定义便利函数。 Operating System: Ubuntu 22.04.4 LTS 参考文档递归删除空文件夹在Python中,可以使用os模块来递归删除空文件夹。以下是一个示例函数,它会检查每个文件夹,如果文件
2025-01-01
00254 NLP Course - Fast tokenizers in the QA pipeline 00254 NLP Course - Fast tokenizers in the QA pipeline
前言我们现在将深入问答管道,看看如何利用偏移量从上下文中抓取手头问题的答案,就像我们在上一节中对分组实体所做的那样。然后,我们将了解如何处理被截断的非常长的上下文。如果你对问答任务不感兴趣,可以跳过这一节。 src link: https:
00253 Monte Carlo Tree Search算法 00253 Monte Carlo Tree Search算法
前言介绍 Monte Carlo Tree Search 算法。 Operating System: Ubuntu 22.04.4 LTS 介绍Monte Carlo Tree Search(MCTS)算法是一种用于决策过程的启发式搜索算法
2024-12-30
00252 NLP Course - Fast tokenizers’ special powers 00252 NLP Course - Fast tokenizers’ special powers
前言在本节中,我们将更深入地了解🤗 Transformers中的分词器的功能。到目前为止,我们只使用它们来分词输入或将ID解码回文本,但分词器——特别是那些由🤗 Tokenizers库支持的分词器——可以做更多的事情。为了说明这些附加功
8 / 29