AI教我做事之RAG开发-24 RAG研发中嵌入模型的研究和分析

在 AI 开发的 RAG（检索增强生成）领域，嵌入模型的选择对系统性能至关重要。嵌入模型负责将文本转换为向量，用于检索相关文档以增强生成模型的回答质量。本报告基于 2025 年 3 月 16 日的最新信息，分析并对比 MTEB 排行榜上的顶尖嵌入模型，重点关注其在检索任务中的表现，适合 RAG 开发的场景。

主要的榜单地址：

顶尖模型概览

根据 MTEB 排行榜和相关研究，以下模型在 2025 年初被认为是顶尖选择：

• NV-Embed-v2：由 NVIDIA 开发，基于 Mistral-7B，整体 MTEB 得分 72.31，检索任务得分 62.65（截至 2024 年 8 月 30 日）。
• Nomic-Embed-Text-v1.5：由 Nomic AI 开发，支持 8192 上下文长度，维度为 768，表现优于 OpenAI 的 Ada-002 和 text-embedding-3-small。
• bge-en-icl：由北京人工智能研究院（BAAI）开发，具备上下文学习能力，在 MTEB 和 AIR-Bench 上达到状态最佳表现。
• stella_en_1.5B_v5：由阿里巴巴开发，参数量仅 1.5B，基于 gte-large-en-v1.5 和 gte-Qwen2-1.5B-instruct，适合资源受限环境。

性能对比：检索任务

检索任务是 RAG 开发的核心，MTEB 包括 15 个检索数据集，评估模型在查询-文档匹配中的表现。以下是已知的具体数据：

NV-Embed-v2 以 62.65 的得分领先，特别适合高精度需求的应用。Nomic-Embed-Text-v1.5 和 bge-en-icl 的具体得分未直接提供，但基于其在 MTEB 上的整体表现，估计在 60-62 左右。stella_en_1.5B_v5 因参数少，可能在检索任务中表现稍逊，但适合资源受限场景。

效率与资源需求

模型大小和推理速度对 RAG 系统的部署至关重要，尤其在边缘设备或成本敏感的环境中：

• NV-Embed-v2：基于 7B 参数的 Mistral-7B，计算需求较高，适合有强大硬件支持的场景。
• Nomic-Embed-Text-v1.5：137M 参数，较小，推理速度快，适合高吞吐量需求。
• bge-en-icl：参数规模未明确，但基于 BGE 家族，估计在 7B 左右，计算需求较高。
• stella_en_1.5B_v5：仅 1.5B 参数，显著更小，推理效率高，适合资源受限环境。

上下文长度与长文档处理

RAG 应用常涉及长文档或查询，上下文长度是关键因素：

• Nomic-Embed-Text-v1.5：支持 8192 上下文长度，特别适合长文本处理。
• NV-Embed-v2：基于 Mistral-7B，通常支持 4096 或 8192 上下文，具体视版本而定。
• bge-en-icl 和 stella_en_1.5B_v5：上下文长度未明确，但基于类似架构，估计在 512-4096 之间，需进一步确认。

通用性与领域适应性

MTEB 使用通用数据集，模型的领域适应性需额外考虑：

• NV-Embed-v2 和 Nomic-Embed-Text-v1.5 均为通用模型，适合广泛应用。
• bge-en-icl 因其上下文学习能力，可能在特定任务（如法律或医学）中表现更优。
• 若 RAG 应用聚焦特定领域（如法律），建议参考领域专用模型，如 PubMedBERT（医学）或法律文档优化的模型。

推荐与权衡

根据 RAG 开发的特定需求，推荐如下：

• 追求最高检索性能：选择 NV-Embed-v2，适合高精度需求，但计算资源需求较高 (NV-Embed-v2 on Hugging Face)。
• 开源与长上下文：Nomic-Embed-Text-v1.5 提供长上下文支持，适合需要可定制和透明性的开发者 (Nomic-Embed-Text-v1.5 on Hugging Face)。
• 上下文学习需求：bge-en-icl 适合需要少样本学习的任务，需进一步确认其上下文长度 (bge-en-icl on Hugging Face)。
• 资源受限环境：stella_en_1.5B_v5 提供高效解决方案，适合边缘设备，但可能牺牲部分性能 (stella_en_1.5B_v5 on Hugging Face)。

结论

嵌入模型的选择需权衡检索性能、效率和上下文长度。NV-Embed-v2 是当前最佳选择，但 Nomic-Embed-Text-v1.5 和 bge-en-icl 也为强有力的替代方案，具体取决于应用场景和资源条件。

关键引用

• NV-Embed-v2 on Hugging Face
• Nomic-Embed-Text-v1.5 on Hugging Face
• bge-en-icl on Hugging Face
• stella_en_1.5B_v5 on Hugging Face