NVIDIA Nemotron 3 Embed 登顶RTEB榜首，推进智能体检索

背景

随着大语言模型（LLM）在检索增强生成（RAG）、智能体系统（Agentic Systems）等场景中的广泛部署，嵌入模型（Embedding Model）的质量直接决定了检索的准确性、下游任务的效率以及部署成本。传统的嵌入模型往往在精度与效率之间难以兼顾，而新兴的智能体检索（Agentic Retrieval）需求进一步要求模型具备长上下文、多语言、多模态代码检索等能力。

NVIDIA 此前推出的 Nemotron 系列嵌入模型已在多个基准上取得良好表现。2026年7月，NVIDIA 发布了新一代嵌入模型集合 NVIDIA Nemotron 3 Embed，旨在兼顾检索质量与部署灵活性，为生产级 RAG、智能体检索、代码检索和智能体记忆提供高性能方案。

核心内容

模型集合概览

Nemotron 3 Embed 是一组开源且商用的嵌入模型，包含三个版本：

| 模型 | 参数量 | 精度 | 关键定位 | |------|--------|------|----------| | Nemotron-3-Embed-8B-BF16 | 8B | BF16 | 旗舰模型，RTEB 排行榜第1名 | | Nemotron-3-Embed-1B-BF16 | 1B | BF16 | 高效部署变体，保留大部分8B质量 | | Nemotron-3-Embed-1B-NVFP4 | 1B | NVFP4（4-bit） | Blackwell 优化，高吞吐低内存 |

关键特性

• 开放权重、数据集与配方：团队可自行检查、微调、部署。
• 32K 上下文窗口：支持长文档、大型代码库、多轮智能体对话历史。
• 多语言与代码检索：覆盖全球企业数据、技术文档和多文件代码仓库。
• NVIDIA NVFP4 效率：Blackwell 架构原生的4-bit量化部署路径，可提升吞吐量并减少内存占用。
• 微调与蒸馏配方：基于 NVIDIA NeMo AutoModel 提供领域自适应和模型压缩工具。
• Day-0 生态系统集成：立即在 Hugging Face 上可用，支持 NVIDIA NIM 微服务、vLLM，并通过主流 AI 云和推理合作伙伴访问。

评估结果

检索质量（RTEB 领先）

在 RTEB 基准上，Nemotron-3-Embed-8B-BF16 排名第1，得分 78.5%；在 MMTEB Retrieval 上得分 75.5%。
1B BF16 变体得分为 72.4%（RTEB）和 71.0%（MMTEB Retrieval），误差率相比其前代（llama-nemotron-embed-vl-1b-v2）分别降低了 27% 和 28%。

智能体效率

使用基于 Nemotron 3 Ultra 的搜索智能体，在 ViDoRe V3、BRIGHT、BrowseComp-Plus 三个数据集上比较不同嵌入模型的平均检索准确率与下游智能体 token 成本。结果显示：更强的检索模型显著降低下游 token 消耗，因为更准确的检索可以让智能体更早获得相关证据，减少重复搜索和推理次数。8B 模型在三个数据集上同时实现了最高的平均检索准确率和最低的估计 token 成本。

部署权衡：NVFP4 在 Blackwell 上的扩展

对于高吞吐部署，1B NVFP4 变体通过 Blackwell 原生 NVFP4 加速（对线性层权重和激活进行4-bit量化），并采用量化感知蒸馏（QAD）恢复长序列精度。

• NVFP4 在 Blackwell 上的吞吐量相比 BF16 提升 2倍。
• 同时保留 BF16 99%以上的检索准确率，内存占用更小。

Day-0 高性能 NIM

基于 Rust 的 Nemotron 3 Embed NIM（针对1B模型）在 NVIDIA GB200 和 RTX PRO 6000 GPU 上，在序列长度 256 和 1024 条件下，性能与 vLLM checkpoint 相当或更优。

模型构建方法

• 8B 模型：基于 Ministral-3-8B-Instruct-2512 骨干，将其因果解码器转换为双向编码器进行全序列检索。经对比预训练（Web 来源与合成文本对）和微调（法律、金融、医疗、商业、教育等多领域多语言数据）得到。
• 1B 模型：并非从零训练。首先将双向适配配方应用于 Ministral-3-3B-Instruct-2512 骨干得到 3B 检索基座，然后通过两轮结构化剪枝+蒸馏压缩至最终 1.14B：
  1. 第一轮：使用 NVIDIA ModelOpt 的 mcore_minitron 神经架构搜索（NAS）将 3B 压缩至 2B 中间模型。
  2. 第二轮：再次压缩 2B 至 1.14B，并利用 8B 教师模型进行蒸馏（余弦距离损失 + 均方误差损失）。
  • 最终训练采用渐进式两阶段上下文缩放：阶段1 使用 1024 token 上下文进行多语言对齐；阶段2 将上下文扩展到 32K。

关键要点

• NVIDIA Nemotron 3 Embed 集合包含三个模型（8B、1B BF16、1B NVFP4），均开源可商用。
• 8B 模型在 RTEB 排行榜上排名第1（78.5%），1B BF16 误差率比前代降低 27%–28%。
• 模型支持 32K 上下文窗口、多语言检索和代码检索。
• 更好的检索质量可显著降低下游智能体 token 成本（在 ViDoRe V3、BRIGHT、BrowseComp-Plus 上验证）。
• 1B NVFP4 变体在 Blackwell 上实现 2x 吞吐量提升，同时保留 99%+ 的 BF16 准确率。
• 构建方法创新：利用双向转换、结构化剪枝（NAS）与教师蒸馏，从 3B 基座高效压缩至 1B。
• 提供 Day-0 集成：Hugging Face、NVIDIA NIM、vLLM 以及主流 AI 云合作伙伴。

意义与影响

Nemotron 3 Embed 的发布标志着嵌入模型在 精度-效率曲线前沿 的又一次跃迁。其核心意义在于：

1. 统一了检索质量与部署灵活性：8B 模型代表了当前检索质量的最高水平，而 1B 变体通过剪枝+蒸馏方案以较低成本复现了大部分能力，NVFP4 变体更将高效推理与高准确率结合，为生产级 RAG 和智能体系统提供了多样化选择。
2. 推动智能体检索走向实用：实验证明检索质量直接影响智能体的 token 消耗和任务效率，Nemotron 3 Embed 通过提升检索早期相关性，有望降低智能体系统的运营成本与响应延迟。
3. 开源与生态整合：开放权重、数据集和配方，并集成主流推理框架（vLLM、NIM），降低了企业采用门槛，加速了检索模型在金融、医疗、法律等领域的