LuYF-Lemon-love の Blog
  文章分类
计算机基础 29 实用技巧 9 C/C++和Python混合编程 6 硬件 1 博客 4 C++ 14 杂项 19 Python 48 Paper 16 大语言模型 89 PyTorch 9 动态壁纸 4 干饭 9 Linux 7 人工智能 3 Verilog 1 刷题 2
00209 NLP Course - Behind the pipeline 00209 NLP Course - Behind the pipeline
前言让我们从一个完整的例子开始，回顾一下我们在第一章执行以下代码时幕后发生了什么： from transformers import pipeline classifier = pipeline("sentiment-analysis")
2024-10-25 大语言模型
深度学习 大语言模型 huggingface
00208 NLP Course - Introduction 00208 NLP Course - Introduction
前言正如您在第一章中看到的，Transformer模型通常非常大。拥有数百万到数十亿个参数，训练和部署这些模型是一项复杂的任务。此外，每天都有新的模型发布，而且每个模型都有自己的实现方式，尝试它们绝非易事。 🤗 Transformers库
2024-10-25 大语言模型
深度学习 大语言模型 huggingface
00206 收集的数据集 00206 收集的数据集
前言介绍一些数据集。 Operating System: Ubuntu 22.04.4 LTS 文本Text Generation (pre-training datasets) LLaMA-Factory/Wiki Demo (
2024-10-20 大语言模型
深度学习 大语言模型 huggingface
00205 NLP Course - Summary 00205 NLP Course - Summary
前言在这一章中，您看到了如何使用 🤗 Transformers 中的高级 pipeline() 函数来处理不同的 NLP 任务。您还学习了如何在 Hub 中搜索和使用模型，以及如何使用 Inference API 在您的浏览器中直接测试模
2024-10-19 大语言模型
深度学习 大语言模型 huggingface
00204 NLP Course - Bias and limitations 00204 NLP Course - Bias and limitations
前言如果您打算在生产环境中使用预训练模型或微调版本，请注意，虽然这些模型是非常强大的工具，但它们也存在局限性。其中最大的局限性在于，为了能够在大量数据上进行预训练，研究人员通常会尽可能地抓取他们能找到的所有内容，包括互联网上可用的最好和最差
2024-10-19 大语言模型
深度学习 大语言模型 huggingface
00202 Hugging Face 常用函数 00202 Hugging Face 常用函数
前言简单的介绍Hugging Face - 常用函数。 Operating System: Ubuntu 22.04.4 LTS transformersHfArgumentParserapi link: https://huggingfa
2024-10-17 大语言模型
深度学习 大语言模型 huggingface
00201 Hugging Face Llama Recipes - Fine Tuning 00201 Hugging Face Llama Recipes - Fine Tuning
前言简单的介绍如何Fine Tuning Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Llama Models: ht
2024-10-16 大语言模型
深度学习 大语言模型 huggingface
00199 Hugging Face Llama Recipes - Local Inference 00199 Hugging Face Llama Recipes - Local Inference
前言简单的介绍如何Local Inference Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Operating Sy
2024-10-14 大语言模型
深度学习 大语言模型 huggingface
00198 Hugging Face Llama Recipes - Getting Started 00198 Hugging Face Llama Recipes - Getting Started
前言简单的介绍如何快速运行Llama。 src link: https://github.com/LuYF-Lemon-love/fork-huggingface-llama-recipes Operating System: Ubuntu
2024-10-14 大语言模型
深度学习 大语言模型 huggingface
00196 加载文本数据 00196 加载文本数据
前言这份指南向您展示了如何加载文本数据集。要想了解如何加载任何类型的数据集，请查阅通用加载指南。 文本文件是存储数据集最常见的文件类型之一。默认情况下，🤗 Datasets 逐行采样文本文件以构建数据集。 >>> from dataset
2024-10-10 大语言模型
深度学习 大语言模型 huggingface
00195 创建数据集 00195 创建数据集
前言有时，如果您正在使用自己的数据，可能需要创建一个数据集。使用🤗 Datasets创建数据集可以让您的数据集享受到库的所有优势：快速加载和处理、流式处理大型数据集、内存映射等等。您可以使用🤗 Datasets的低代码方法轻松快速地创建
2024-10-10 大语言模型
深度学习 大语言模型 huggingface
00194 NLP Course - Sequence-to-sequence models 00194 NLP Course - Sequence-to-sequence models
前言编码器-解码器模型（也称为序列到序列模型）使用了Transformer架构的两部分。在每一个阶段，编码器的注意力层可以访问初始句子中的所有单词，而解码器的注意力层只能访问输入中给定单词之前的单词。 这些模型的预训练可以使用编码器或解码器
2024-10-09 大语言模型
深度学习 大语言模型 huggingface
4 / 8