Hugging Face模型登陆Foundry托管计算

背景

随着人工智能进入代理式应用（agentic AI）时代，企业开发者面临一个核心挑战：如何将前沿的开源模型与自有模型无缝集成到生产环境中，同时兼顾安全性、性能、合规性和运营效率。微软推出的 Microsoft Foundry 正是为此而生的平台——它提供最广泛的模型选择（涵盖微软、OpenAI、Anthropic、Meta、Mistral、DeepSeek、Hugging Face 等），并通过统一的 API 和 SDK（支持 Python、C#、JavaScript、Java）进行访问。在模型之上，Foundry 还内置了代理服务（Agent Service）、多代理编排、内存、知识源（Foundry IQ）、可连接工具目录，以及端到端追踪、实时监控、持续评估和提示优化器等可观测性与质量闭环。

在 Foundry 的三种部署方式中——按 token 计费（最低门槛）、预置吞吐量（可预测高性能生产负载）——Foundry Managed Compute 是第三种选择：一种面向开源和自定义模型的托管 GPU 平台即服务（PaaS）。开发者只需按模型参数、上下文长度、延迟/吞吐量优化目标来描述工作负载，Foundry 会自动处理底层的 GPU 拓扑（单个或多个加速器），让用户以模型维度思考和规划。微软负责底层基础设施：容器更新、运行时升级和安全补丁在支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上自动完成，无需重新部署模型；而模型配置、部署行为和路由则由用户掌控。

Hugging Face 是开源 AI 的公共广场：拥有 1500 万开发者、40 万组织、超过 300 万个开源模型，每周都有新的前沿能力（代理编码、视频分割、语音、嵌入等）发布。它被称为“开源模型的 GitHub”，社区发布权重、撰写模型卡、比较评估、拉取模型进行实验。开源模型在多项基准测试中已缩小了与专有模型的差距，并带来了专有端点无法实现的能力：全权重深度定制（微调、蒸馏、量化、LoRA）、模型自有托管、成本按需塑造（按小时付费、空闲缩零、按模型精确选择 GPU）、版本控制等。然而，Hugging Face 本身并非企业级服务平台——它缺少运营层：模型发现、许可证审查、安全筛查、运行时选择、GPU 规格、镜像构建、CVE 补丁、将模型挂载到企业级端点等。Hugging Face Models on Foundry 正是由微软提供的这个运营层。

核心内容

Hugging Face 模型集合（Hugging Face Collection）

Foundry 模型目录中引入了一个精选的 Hugging Face 模型子集，称为 Hugging Face Collection。其特点包括：

• 每周刷新：随着社区发布，持续添加 Hugging Face 生态中流行的模型。
• 覆盖所有模态：文本、视觉、音频、多模态——包括用于聊天和代理的 LLM 和 VLM、ASR 和语音翻译、嵌入、分割、图像生成等。
• 仅使用 SafeTensors（安全张量格式），无不可信代码：集合中的每个模型都经过安全筛查，以 SafeTensors 权重格式发布，除非经过严格审查，否则不执行 trust_remote_code 路径。
• 为模型匹配最佳运行时：LLM 使用 vLLM 和 SGLang，TensorRT-LLM 和 NIM 用于适用场景，TEI 用于嵌入，llama.cpp 用于 CPU——Foundry 自动选择与模型匹配的引擎。

从用户角度看，Hugging Face Collection 中的开放权重模型与 Foundry 模型目录中的任何其他模型表现一致。每个模型在进入目录前都经过多阶段发布流水线。

策展流水线（Curation Pipeline）

Hugging Face 与微软共同通过系统化的策展流程，将 Hugging Face 生态中最流行的开放权重模型引入 Microsoft Foundry，使其达到企业级生产就绪状态：

1. 识别趋势模型：基于社区信号、合作伙伴请求和客户需求，选择候选模型进行企业就绪评估。
2. 合规与安全筛查：审查模型许可证是否符合微软企业分发政策（许可证元数据保留在目录模型卡上）；检查仓库中的 trust_remote_code 模式和自定义可执行代码；任何需要在加载时执行第三方 Python 的模型要么被修复，要么被排除。
3. 构建、扫描并发布运行时：微软在支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上构建推理容器镜像，扫描 CVE，签名并发布到微软管理的容器注册表。
4. 上传权重到安全的 Azure 存储：从 Hugging Face 拉取一次模型权重，对照发布的模型卡进行验证，然后存储在微软管理的 Azure 存储中，存储区域与模型服务区域一致。
5. 验证并发布到目录：对每个模型+运行时+加速器组合进行 API 合规性测试（聊天补全、嵌入、重排序等）和性能测试（延迟、吞吐量、首 token 时间、token 间解码时间），然后将验证后的模型（包括模板、运行时镜像和权重）发布到 Foundry 模型目录，提供一键部署到 Managed Compute 的路径。

由于权重预先存储在 Azure 存储中，运行时镜像存在于微软管理的注册表中，因此用户的部署不需要出站网络访问 Hugging Face Hub——可以在私有网络内部署到生产环境。

模型运行时（Model Runtimes）

Hugging Face Models on Foundry 由一系列社区构建、开源的推理运行时驱动，每个运行时都针对 Foundry Managed Compute 进行了选择和调优，并匹配最适合其服务的模型架构。在所有运行时上，系统化的策展流程意味着新版本和补丁能快速落地到 Foundry，现有模型部署会自动升级。

统一开发体验与集成

在 Foundry 中，按 token 计费、预置吞吐量和 Managed Compute 三种部署方式共享：

• 单一端点
• 同一套 SDK
• 同一身份认证
• 同一可观测性
• 单一账单

开源模型与 Foundry 代理的集成方式与前沿模型相同，因此开发者可以在单个代理中混合使用不同类型的模型，无需单独集成路径。

Managed Compute 的部署选项

Managed Compute 提供两种部署类型：

• 全球部署（Global deployments）——最广容量和最优定价
• 数据区域部署（Data Zone deployments）——满足数据驻留和主权要求

代码和工作流完全相同。配额与加速器家族对齐，因此基于 H100 家族构建的计划可以在新硬件世代上线时自动延续。

关键要点

• Foundry Managed Compute 是面向开源与自定义模型的托管 GPU PaaS：开发者以模型参数、上下文长度、延迟/吞吐量目标描述需求，底层 GPU 拓扑由平台自动处理。
• Hugging Face Collection 是精选的企业级模型目录：每周刷新，仅包含 SafeTensors 格式的安全模型，无不可信代码，且自动匹配最佳运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）。
• 系统化的策展流水线：Hugging Face