Granite 4.0 3B Vision：面向企业文档的紧凑型多模态智能

背景

在企业级文档处理场景中，视觉语言模型（Vision-Language Models, VLMs）面临着巨大的挑战。传统的 VLM 往往难以同时处理视觉模式、数值数据和自然语言推理，特别是在需要空间精度的任务中（例如从折线图中读取精确数值），表现通常不尽如人意。此外，现有的多模态模型往往将视觉信息注入语言模型的单一层级，导致模型难以兼顾高层语义理解与细粒度的空间细节保留。

为了弥补这一差距，IBM 推出了 Granite 4.0 3B Vision。这是一个紧凑型、模块化的多模态模型，旨在解决企业文档中复杂的表格解析、图表理解以及语义键值对（KVP）提取等痛点。该模型并非独立训练的大参数模型，而是作为 LoRA 适配器部署在 Granite 4.0 Micro（一种密集语言模型）之上，这种设计既保持了视觉与语言模块的独立性，又确保了在纯文本场景下的无缝回退能力。

核心内容

Granite 4.0 3B Vision 的核心能力在于其对非结构化文档视觉信息的深度解析，主要涵盖以下三大功能：

1. 表格提取（Table Extraction）：能够从文档图像中准确解析复杂的表格结构，包括多行、多列等复杂布局。
2. 图表理解（Chart Understanding）：能够将图表和图形转换为结构化的机器可读格式、摘要，甚至可执行代码。
3. 语义键值对提取（Semantic Key-Value Pair Extraction）：能够在多样化的文档布局中识别并定位具有语义意义的键值字段对。

技术构建基石

该模型的性能突破源于三项关键的技术投入：

1. ChartNet：教会模型真正理解图表 针对 VLM 在图表理解上的短板，团队构建了 ChartNet——一个专为图表解释和推理设计的一百万级多模态数据集（详见即将发表于 CVPR 2026 的论文）。

• 代码引导的数据增强：ChartNet 通过一种新颖的代码引导合成流水线，生成了 170 万个多样化的图表样本，涵盖 24 种图表类型和 6 种绘图库。
• 五维对齐组件：每个样本包含五个对齐的组件：绘图代码、渲染图像、数据表、自然语言摘要以及问答对（QA pairs）。这种设计为模型提供了图表含义的深度跨模态视角，而不仅仅是外观。
• 高质量子集：数据集还包含经过人工标注和真实世界过滤的子集，确保视觉保真度、语义准确性和多样性。

2. DeepStack：更智能的视觉特征注入 大多数 VLM 在单一位置注入视觉信息，迫使模型同时处理高层语义和细粒度空间细节。Granite 4.0 3B Vision 采用了 DeepStack Injection 架构变体：

• 分层注入策略：抽象视觉特征被路由到较早的层级以进行语义理解，而高分辨率空间特征则被馈送到较晚的层级以保留细节。
• 优势：这种架构使模型既能理解文档“有什么”（内容），也能理解“在哪里”（布局），这对于表格提取、图表理解和 KVP 解析等对布局敏感的任务至关重要。

3. 模块化设计：一个模型，两种模式

• LoRA 适配器架构：Granite 4.0 3B Vision 作为 Granite 4.0 Micro 的 LoRA 适配器发布。
• 灵活部署：同一部署环境可同时服务于多模态和纯文本工作负载。当不需要视觉能力时，系统会自动回退到基础语言模型。这种设计简化了企业集成流程，同时未牺牲性能。

性能表现

图表理解 在基于 LLM-as-a-judge 评估的 ChartNet 基准测试中：

• Chart2Summary：Granite 4.0 3B Vision 取得了 86.4% 的最高分，显著优于许多参数量大得多的模型。
• Chart2CSV：以 62.1% 的成绩排名第二，仅次于参数量为其两倍的 Qwen3.5-9B（63.4%）。

表格提取 评估涵盖裁剪表格（孤立区域）和全页文档（嵌入复杂布局中的表格）两种场景，使用 TEDS 指标（衡量结构和内容准确性）：

• PubTablesV2：在裁剪场景下得分 92.1，在全页场景下得分 79.3，均领先所有评估模型。
• OmniDocBench：得分 64.0。
• TableVQA：得分 88.1。
• 总体而言，该模型在所有基准测试中均表现出最强的性能。

语义 KVP 提取 在专为区分小型提取模型而设计的 VAREX 基准测试中（包含 1,777 份美国政府表格）：

• 使用严格匹配（Exact Match, EM）指标，Granite 4.0 3B Vision 在零样本（Zero-shot）设置下达到了 85.5% 的准确率。

关键要点

• 紧凑型高效能：作为一个仅 3B 参数的模型（基于 Granite 4.0 Micro），它在图表和表格理解任务上击败了参数量大得多的竞争对手，适合资源受限的企业环境。
• 模块化 LoRA 架构：通过 LoRA 适配器实现，支持多模态与纯文本模式的无缝切换，降低了企业部署的复杂性和成本。
• 创新的训练数据：ChartNet 数据集通过代码引导合成，提供了包含绘图代码、图像、数据和文本的深度跨模态对齐数据，显著提升了模型对图表结构的理解能力。
• 分层视觉注入（DeepStack）：通过区分抽象语义特征和高分辨率空间特征的注入层级，解决了传统 VLM 在细节保留与语义理解之间的权衡难题。
• 端到端集成能力：可与 Docling 文档处理工具无缝集成，支持从 PDF 解析、视觉元素检测到细粒度提取的全流程自动化。

意义与影响

Granite 4.0 3B Vision 的发布标志着企业级文档智能向更轻量化、更专业化方向迈出了重要一步。

首先，它解决了 VLM 在垂直领域（如金融报表、学术文档、政府表单）中“懂内容但不懂结构”的痛点。通过 DeepStack 架构和 ChartNet 数据集，模型不仅能把图片转文字，还能真正理解数据背后的逻辑关系和空间布局。

其次，其模块化设计为企业提供了极高的部署灵活性。企业无需为了处理文档而部署庞大的多模态大模型，只需在现有的 Granite 4.0 Micro 基础上加载适配器即可。这种“即插即用”的特性，结合 Apache 2.0 开源许可证，极大地降低了企业构建私有化、高精度文档处理管道的门槛。

最后，该模型与 Docling 的协同工作流展示了未来文档处理的趋势：从单纯的 OCR 识别转向深度的结构化数据提取。无论是发票处理、财务报告分析还是学术研究文档智能，Granite 4.0 3B Vision 都能提供高准确率、低延迟的解决方案，助力企业实现文档数据的自动化价值挖掘。