LuYF-Lemon-love の Blog
  文章分类
计算机基础 30 实用技巧 9 C/C++和Python混合编程 6 硬件 1 博客 4 C++ 14 杂项 19 Python 56 Paper 21 大语言模型 95 PyTorch 9 动态壁纸 4 干饭 9 Linux 8 人工智能 3 Verilog 2 基础软件 3 刷题 2
00176 使用 trl 进行 sft 00176 使用 trl 进行 sft
前言此脚本展示了如何使用SFTTrainer将模型或适配器微调到目标数据集中。 src link: https://github.com/huggingface/trl/blob/main/examples/scripts/sft.py O
2024-10-01 大语言模型
深度学习 大语言模型 huggingface
00174 NLP Course - Introduction 00174 NLP Course - Introduction
前言本课程将使用来自Hugging Face生态系统的库——🤗Transformers、🤗Datasets、🤗Tokenizers和🤗Accelerate——以及Hugging Face Hub——教你自然语言处理（NLP）。它完全
2024-09-22 大语言模型
深度学习 大语言模型 huggingface
00171 OpenAI 文档 00171 OpenAI 文档
前言OpenAI 文档。 Operating System: Ubuntu 22.04.4 LTS 参考文档 OpenAI Models OpenAI developer platform Developer quickstart Mod
2024-09-16 大语言模型
深度学习 大语言模型
00170 了解您的数据集 00170 了解您的数据集
前言有两种类型的数据集对象，常规Dataset和✨IterableDataset✨。Dataset提供对行的快速随机访问和内存映射，因此即使加载大型数据集也只使用相对少量的设备内存。但是对于非常非常大的数据集，甚至不适合磁盘或内存，Iter
2024-09-16 大语言模型
深度学习 大语言模型 huggingface
00162 大规模 Transformer 模型 8 比特矩阵乘简介 00162 大规模 Transformer 模型 8 比特矩阵乘简介
前言本文介绍了大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes。 Hugging Face Github 主页:
2024-08-08 大语言模型
深度学习 大语言模型 huggingface
00161 How to generate text: using different decoding methods for language generation with Transformers 00161 How to generate text: using different decoding methods for language generation with Transformers
前言本文介绍了🤗 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调。 Hugging Face Github 主页: https://github.com/huggingface 操作系统：Windows 11 家庭中文版 参考文
2024-08-07 大语言模型
深度学习 大语言模型 huggingface
00160 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调 00160 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调
前言本文介绍了🤗 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调。 Hugging Face Github 主页: https://github.com/huggingface 操作系统：Windows 11 家庭中文版 参考文
2024-08-07 大语言模型
深度学习 大语言模型 huggingface
00153 开源大语言模型作为 LangChain 智能体 00153 开源大语言模型作为 LangChain 智能体
前言本文介绍了如何使用开源大语言模型作为 LangChain 智能体。 Hugging Face Github 主页: https://github.com/huggingface 操作系统：Windows 11 家庭中文版 参考文档 O
2024-08-03 大语言模型
深度学习 大语言模型 huggingface
00152 “StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程 00152 “StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程
前言本文介绍了StackLLaMA。 Hugging Face Github 主页: https://github.com/huggingface 如 ChatGPT，GPT-4，Claude语言模型 之强大，因为它们采用了 基于人类反馈
2024-08-03 大语言模型
深度学习 大语言模型 huggingface
00151 面向生产的 LLM 优化 00151 面向生产的 LLM 优化
前言本文介绍了面向生产的 LLM 优化。 Hugging Face Github 主页: https://github.com/huggingface 注意 : 本文同时也是 Transformers 的文档。 以 GPT3/4
2024-08-03 大语言模型
深度学习 大语言模型 huggingface
00150 使用 DPO 微调 Llama 2 00150 使用 DPO 微调 Llama 2
前言本文介绍了使用 DPO 微调 Llama 2。 Hugging Face Github 主页: https://github.com/huggingface 操作系统：Windows 11 家庭中文版 参考文档 Fine-tune L
2024-08-03 大语言模型
深度学习 大语言模型 huggingface
00149 Fully Sharded Data Parallel(FSDP) 学习笔记 00149 Fully Sharded Data Parallel(FSDP) 学习笔记
前言本文介绍了Fully Sharded Data Parallel(FSDP)学习笔记。 In this tutorial, we show how to use FSDP APIs, for simple MNIST models th
2024-07-31 大语言模型
深度学习 大语言模型 PyTorch
6 / 8