LuYF-Lemon-love の Blog

前言分词器是 NLP 管道中的核心组件之一。它们有一个目的：将文本转换成模型可以处理的数据。模型只能处理数字，所以分词器需要将我们的文本输入转换为数值数据。在本节中，我们将探索分词管道中确切发生的事情。在自然语言处理任务中，通常处理的数据

2024-10-27 大语言模型

前言在本节中，我们将更深入地了解如何创建和使用模型。我们将使用 AutoModel 类，这在您想要从检查点实例化任何模型时会非常方便。 AutoModel 类及其所有相关类实际上是对库中可用的各种模型的一种简单封装。它是一个巧妙的封装，因为

2024-10-26 大语言模型

深度学习大语言模型 huggingface

前言让我们从一个完整的例子开始，回顾一下我们在第一章执行以下代码时幕后发生了什么： from transformers import pipeline classifier = pipeline("sentiment-analysis")

2024-10-25 大语言模型

深度学习大语言模型 huggingface

前言正如您在第一章中看到的，Transformer模型通常非常大。拥有数百万到数十亿个参数，训练和部署这些模型是一项复杂的任务。此外，每天都有新的模型发布，而且每个模型都有自己的实现方式，尝试它们绝非易事。 🤗 Transformers库

2024-10-25 大语言模型

深度学习大语言模型 huggingface

前言简单的介绍Python - 常用函数。 Operating System: Ubuntu 22.04.4 LTS pygraphvizsrc link: https://pygraphviz.github.io/documentatio

2024-10-22 Python

Python

前言介绍一些数据集。 Operating System: Ubuntu 22.04.4 LTS 文本Text Generation (pre-training datasets) LLaMA-Factory/Wiki Demo (

2024-10-20 大语言模型

深度学习大语言模型 huggingface

前言在这一章中，您看到了如何使用 🤗 Transformers 中的高级 pipeline() 函数来处理不同的 NLP 任务。您还学习了如何在 Hub 中搜索和使用模型，以及如何使用 Inference API 在您的浏览器中直接测试模

2024-10-19 大语言模型

深度学习大语言模型 huggingface

前言如果您打算在生产环境中使用预训练模型或微调版本，请注意，虽然这些模型是非常强大的工具，但它们也存在局限性。其中最大的局限性在于，为了能够在大量数据上进行预训练，研究人员通常会尽可能地抓取他们能找到的所有内容，包括互联网上可用的最好和最差

2024-10-19 大语言模型

深度学习大语言模型 huggingface

前言如何在Python中使用Plotly制作小提琴图。 Plotly: https://plotly.com/python/ src link: https://plotly.com/python/violin/ Operating Sys

2024-10-19 Python

Python

前言简单的介绍Hugging Face - 常用函数。 Operating System: Ubuntu 22.04.4 LTS transformersHfArgumentParserapi link: https://huggingfa

2024-10-17 大语言模型

深度学习大语言模型 huggingface

前言简单的介绍如何Fine Tuning Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Llama Models: ht

2024-10-16 大语言模型

深度学习大语言模型 huggingface

前言简单的介绍PyTorch - 常用函数。 Operating System: Ubuntu 22.04.4 LTS 独立函数torch.unsqueezeapi link: https://pytorch.org/docs/stable

2024-10-15 PyTorch

深度学习 PyTorch