LuYF-Lemon-love の Blog
已识乾
00316 NLP Course - Building a tokenizer, block by block 00316 NLP Course - Building a tokenizer, block by block
前言正如我们在前面的部分所看到的,分词包括几个步骤: 标准化(对文本进行必要的清理,例如删除空格或重音、Unicode 标准化等) 预分词(将输入分解为单词) 通过模型运行输入(使用预分词的单词生成一系列标记) 后处理(添加分词器的特殊标
00315 NLP Course - Unigram tokenization 00315 NLP Course - Unigram tokenization
前言Unigram算法通常用于SentencePiece中,这是AlBERT、T5、mBART、Big Bird和XLNet等模型使用的分词算法。 💡 本节深入介绍了Unigram算法,甚至展示了一个完整的实现。如果您只想了解分词算法的
00314 NLP Course - WordPiece tokenization 00314 NLP Course - WordPiece tokenization
前言WordPiece是谷歌开发用于预训练BERT的标记化算法。自那以后,它在许多基于BERT的Transformer模型中得到了重新使用,例如DistilBERT、MobileBERT、Funnel Transformers和MPNET。
00304 tiktoken 学习笔记 00304 tiktoken 学习笔记
前言tiktoken 是一个快速的 BPE 分词器,用于 OpenAI 的模型。 import tiktoken enc = tiktoken.get_encoding("o200k_base") assert enc.decode(enc
00295 Ollama OpenAI兼容性 00295 Ollama OpenAI兼容性
前言Ollama OpenAI 兼容性. OpenAI兼容性是实验性的,会受到重大调整,包括重大更改。有关对Ollama API的全功能访问,请参阅Ollama Python库、JavaScript库和REST API。 Ollama提供
00294 A800 GPU的功耗差异 00294 A800 GPU的功耗差异
前言本文介绍了A800 GPU的功耗差异。 Operating System: Ubuntu 22.04.4 LTS 参考文档功耗差异A800 GPU的功耗差异主要是由于其不同的版本和配置。具体来说,NVIDIA A800系列计算卡有不同的
00292 Ollama 导入模型 00292 Ollama 导入模型
前言Ollama 导入模型. Operating System: Ubuntu 22.04.4 LTS 参考文档 Importing a model 从Safetensors权重导入微调适配器首先,创建一个Modelfile,其中包含一个
00291 DeepSeek API 文档 00291 DeepSeek API 文档
前言DeepSeek API 文档。 Operating System: Ubuntu 22.04.4 LTS 参考文档 首次调用 API 推理模型 (deepseek-reasoner) 多轮对话 对话前缀续写(Beta) 首次调用 A
00279 摘要 00279 摘要
前言本文介绍了如何进行摘要。 Hugging Face Github 主页: https://github.com/huggingface 摘要会创建一个文档或文章的简短版本,捕捉所有重要的信息。与翻译一样,它也是一个可以表述为序列到序列任
00271 PEFT - Fine-tune large models using 🤗 peft adapters, transformers & bitsandbytes 00271 PEFT - Fine-tune large models using 🤗 peft adapters, transformers & bitsandbytes
前言在本教程中,我们将介绍如何使用最新的peft库和bitsandbytes库以8位格式加载大型模型,进而对大型语言模型进行微调。微调方法将依赖于一种最近的方法,称为“低秩适配器”(LoRA)。您无需微调整个模型,只需微调这些适配器并将它们
00270 PEFT - Quicktour 00270 PEFT - Quicktour
前言PEFT(参数高效微调)是一个库,它能够高效地将大型预训练模型适配到各种下游应用,而无需微调模型的所有参数,因为这样做成本过高。PEFT方法仅微调少量(额外)的模型参数,显著降低计算和存储成本,同时还能达到与完全微调模型相当的性能。这使
00266 NLP Course - Byte-Pair Encoding tokenization 00266 NLP Course - Byte-Pair Encoding tokenization
前言字节对编码(Byte-Pair Encoding,BPE)最初是作为一种文本压缩算法开发的,然后被OpenAI用于在预训练GPT模型时进行分词。它被许多Transformer模型使用,包括GPT、GPT-2、RoBERTa、BART和D
1 / 9