00352 Qwen3-Embedding (论文学习笔记)

前言

Alibaba Group Qwen3-Embedding论文的学习笔记。

Operating System: Ubuntu 22.04.4 LTS

信息

论文题目：Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models

发表年份：2025

论文地址：https://arxiv.org/abs/2506.05176

pdf 地址：https://arxiv.org/pdf/2506.05176

个人学习笔记：

1. https://github.com/yanfeng98/paper-is-all-you-need/blob/main/papers/00073-Qwen3-Embedding.pdf
2. https://cdn.jsdelivr.net/gh/yanfeng98/paper-is-all-you-need/papers/00073-Qwen3-Embedding.pdf

内容

摘要

在这项工作中，我们介绍了Qwen3嵌入系列，这是其前身GTE-Qwen系列在文本嵌入和重新排序能力方面的重大进步，建立在Qwen3基础模型之上。利用Qwen3 LLM在多语言文本理解和生成方面的强大能力，我们创新的多阶段训练管道将大规模无监督预训练与高质量数据集上的监督微调相结合。有效的模型合并策略进一步确保了Qwen3嵌入系列的鲁棒性和适应性。在训练过程中，Qwen3 LLM不仅作为骨干模型，而且在合成跨多个领域和语言的高质量、丰富和多样化的训练数据方面发挥着至关重要的作用，从而增强训练管道。

Qwen3嵌入系列为嵌入和重新排序任务提供了一系列模型大小（0.6B、4B、8B），解决了用户可以优化效率或有效性的不同部署场景。经验评估表明，Qwen3嵌入系列在不同的基准测试中实现了最先进的结果。值得注意的是，它在用于文本嵌入的多语言评估基准MTEB以及各种检索任务中表现出色，包括代码检索、跨语言检索和多语言检索。为了促进可重复性并促进社区驱动的研发，Qwen3嵌入模型在Apache 2.0许可下公开可用。

结语

第三百五十二篇博文写完，开心！！！！

今天，也是充满希望的一天。