LuYF-Lemon-love の Blog
00266 NLP Course - Byte-Pair Encoding tokenization 00266 NLP Course - Byte-Pair Encoding tokenization
前言字节对编码（Byte-Pair Encoding，BPE）最初是作为一种文本压缩算法开发的，然后被OpenAI用于在预训练GPT模型时进行分词。它被许多Transformer模型使用，包括GPT、GPT-2、RoBERTa、BART和D
2025-01-12 大语言模型
深度学习 大语言模型 huggingface
00265 difflib --- 计算差异的辅助工具 00265 difflib --- 计算差异的辅助工具
前言此模块提供用于比较序列的类和函数。 例如，它可被用于比较文件，并可产生多种格式的不同文件差异信息，包括 HTML 和上下文以及统一的 diff 数据。 有关比较目录和文件，另请参阅 filecmp 模块。 Operating Syste
2025-01-11 Python
Python
00264 处理文本数据 00264 处理文本数据
前言本指南展示了处理文本数据集的特定方法。学习如何： 使用 map() 对数据集进行分词。 为 NLI 数据集将数据集标签与标签 ID 对齐。 有关如何处理任何类型数据集的指南，请查看通用处理指南。 src link: https://
2025-01-11 大语言模型
深度学习 大语言模型 huggingface
00263 NLP Course - Normalization and pre-tokenization 00263 NLP Course - Normalization and pre-tokenization
前言在深入探讨 Transformer 模型中常用的三种最常见的子词分词算法（Byte-Pair Encoding [BPE]，WordPiece 和 Unigram）之前，我们首先来看看每个分词器对文本应用的预处理步骤。以下是分词管道中步
2025-01-11 大语言模型
深度学习 大语言模型 huggingface
00262 roc_auc_score 函数 00262 roc_auc_score 函数
前言roc_auc_score 函数. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍roc_auc_score 是一个在机器学习中常用的评估指标，它用于衡量分类模型的好坏，特别是在不平衡数据集的情况
2025-01-11 人工智能
深度学习
00261 Python __hash__ 方法 00261 Python __hash__ 方法
前言Python __hash__ 方法. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍在Python中，__hash__ 方法是一个特殊的方法，用于定义一个类的实例如何被哈希化。哈希化是用于快速比
2025-01-11 Python
Python
00260 Python UUID 函数 00260 Python UUID 函数
前言Python UUID 函数. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍在Python中，UUID（Universally Unique Identifier）是一种用于生成唯一标识符的机制
2025-01-11 Python
Python
00259 Python 堆队列算法 00259 Python 堆队列算法
前言Python 堆队列算法. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍heapq 是 Python 标准库中的一个模块，它提供了堆队列算法的实现，也称为优先队列算法。在 Python 中，he
2025-01-09 Python
Python
00258 混淆矩阵 00258 混淆矩阵
前言混淆矩阵. Operating System: Ubuntu 22.04.4 LTS 参考文档介绍混淆矩阵（Confusion Matrix），也称为错误矩阵，是一种特别适用于监督学习的评估分类模型性能的工具，尤其是在分类问题中。混淆矩
2025-01-09 人工智能
深度学习
00257 tmux 入门学习笔记 00257 tmux 入门学习笔记
前言TMUX入门学习笔记。 Operating System: Ubuntu 22.04.4 LTS 参考文档一、TMUX简介TMUX是一个开源的终端复用器，它允许用户在单个终端窗口中创建、访问和控制多个终端会话。TMUX具有窗口拆分、会话
2025-01-01 Linux
Linux
00256 ping 不通 Github 00256 ping 不通 Github
前言无法 ping Github。 Operating System: Ubuntu 22.04.4 LTS 参考文档 网页能看github，但是ping不通 步骤 修改 hosts 文件 #修改 /etc/hosts sudo vim
2025-01-01 计算机基础
Git
00255 Python 实用自定义便利函数 00255 Python 实用自定义便利函数
前言Python 实用自定义便利函数。 Operating System: Ubuntu 22.04.4 LTS 参考文档递归删除空文件夹在Python中，可以使用os模块来递归删除空文件夹。以下是一个示例函数，它会检查每个文件夹，如果文件
2025-01-01 Python
Python
7 / 29