← 返回信息流
技术博客arXiv cs.AI·2 小时前

Infinity-Parser2:多模态文档解析模型发布

原标题:Infinity-Parser2 Technical Report

速览

Infinity-Parser2是一个大规模多模态文档解析模型,通过可控数据合成管道和多任务强化学习解决标注数据稀缺问题。其构建了包含500万样本的双语数据集Infinity-Doc2-5M,并设计了可验证的多任务奖励系统。模型发布两个变体:Flash版优化低延迟,Pro版在olmOCR-Bench和ParseBench上达到SOTA,超越多个竞品。

AI 深度解读

背景

文档解析(Document Parsing)是从扫描件、PDF等非结构化文档中提取结构化信息(如文本、表格、公式、图表等)并保留阅读顺序的关键技术,广泛应用于办公自动化、知识库构建、大模型训练数据预处理等领域。然而,当前方法面临两大瓶颈:一是高质量、带精细标注(如元素边界框、规范内容形式、页面读取顺序)的解析语料极度稀缺,人工标注成本高且难以规模化;二是现有模型往往将布局分析、内容识别、排序等任务分离处理,缺乏统一的端到端优化信号。针对这些问题,Infinity-Parser2 提出了一种将可控数据合成管道与多任务强化学习结合的大型多模态模型,旨在一次性解决数据匮乏与任务割裂的挑战。

核心内容

Infinity-Parser2 是一套大型多模态模型,其核心设计围绕三个贡献展开:

  1. 可扩展数据合成引擎与开源数据集
    团队构建了一个可控的数据合成引擎,包含一个可调节的渲染框架(controllable rendering framework)和一个迭代精炼循环(iterative refinement loop)。基于该引擎,他们构造并开源了 Infinity-Doc2-5M 数据集:一个包含 500 万样本的中英双语语料库,覆盖多种文档类型(如论文、报告、表单、图表等),并标注了元素边界框(element bounding boxes)、规范内容形式(canonical content forms,包括 Markdown、HTML、LaTeX、SMILES、结构化图表)以及全页阅读顺序(full-page reading order)。

  2. 可验证的多任务奖励系统与联合强化学习
    引入一个可验证的、多任务奖励系统(verifiable, multi-task reward system),使得模型能够在 8 个联合训练目标 上同时进行强化学习(Joint Reinforcement Learning)。这 8 个目标包括:文档解析(document parsing)、布局分析(layout analysis)、表格解析(table parsing)、数学公式解析(math formula parsing)、图表解析(chart parsing)、化学式解析(chemical formula parsing)、文档 VQA(document VQA)以及通用多模态理解(general multimodal understanding)。通过单一优化信号,将感知、结构理解和推理统一起来。

  3. 两种推理优化变体
    在同一架构下发布两个变体,以适应不同场景:

    • Infinity-Parser2-Flash:针对低延迟推理优化,相比 Infinity-Parser-7B 可获得 3.68 倍 的吞吐量提升。
    • Infinity-Parser2-Pro:专为精度关键场景设计,达到当前最优水平:在 olmOCR-Bench 上取得 87.6%,在 ParseBench 上取得 74.3%,超越了 DeepSeek-OCR-2、PaddleOCR-VL-1.5 和 MinerU2.5,并且在图表、化学式和文档 VQA 任务上表现出强大的泛化能力。

关键要点

  • 数据稀缺破解:通过可控渲染+迭代精炼管道,自动生成大规模、高精度、多格式的标注数据,解决了人工标注的瓶颈。
  • 多任务统一强化学习:将 8 个通常分离的视觉-语言任务(文档解析、布局、表格、公式、图表、化学式、VQA 等)纳入同一个奖励系统联合训练,使模型在感知、结构和推理上获得协同优化。
  • 双变体设计:Flash 变体以 3.68 倍吞吐量优势适合实时/在线服务;Pro 变体以 SOTA 精度适合对准确率要求极高的离线解析场景。
  • 跨领域泛化能力:不仅限于常规文档,还覆盖图表、化学式等特殊领域,并在文档 VQA 上表现优异,说明模型具备超越纯 OCR 的高层理解能力。
  • 开源数据集:Infinity-Doc2-5M 包含 500 万样本,中英双语,标注丰富(边界框、多种规范格式、阅读顺序),可为社区提供宝贵的训练资源。

意义与影响

Infinity-Parser2 的提出标志着文档解析从“分步 pipeline”向“端到端多模态统一模型”迈出了重要一步。其数据合成管道降低了对大规模人工标注的依赖,使得高质量解析语料的获取变得可扩展、可复现;多任务强化学习框架则避免了分别训练多个专家模型带来的维护成本与推理延迟,同时有望通过共享表示提升整体鲁棒性。双变体设计兼顾了效率与精度,有助于推动文档解析技术在在线文档处理、学术论文数字化、企业知识管理等实际场景中的落地。此外,该工作将化学式、图表等非传统文本元素纳入统一解析框架,拓宽了文档解析的定义边界,对未来多模态大模型在专业领域的应用具有参考价值。

查看原文 →arxiv.org