从结构到协同：多模态大语言模型中视觉-语言感知范式的演进综述

背景

多模态大语言模型（Multimodal Large Language Models, MLLMs）近期在统一视觉-语言理解与推理方面取得了显著进展。特别是随着 OpenAI 的 O 系列模型和 DeepSeek 的 R 系列模型等代表性作品的推出，该领域正经历一场向“以感知为中心的智能”（perception-centric intelligence）转变的范式革命。

然而，尽管技术进步迅速，学术界仍缺乏从真正统一的视觉-语言视角对“感知”进行系统性考察的综述。现有的回顾性文章往往较为碎片化，要么单独关注视觉，要么单独关注语言，因此很少能将“感知”作为一种整合能力来捕捉其跨模态的演进过程。这种割裂的视角难以反映 MLLMs 中视觉与语言作为不可分割模态的本质联系。

为了填补这一空白，本文提出了第一篇关于 MLLMs 中统一视觉-语言感知的系统性综述。研究旨在超越传统的模块化处理，将视觉和语言视为一个整体，深入探讨其内在的统一性。

核心内容

本文构建了一个系统性的框架，旨在重新定义和梳理 MLLMs 中视觉-语言感知的演进路径。具体而言，文章从以下三个维度展开了深入论述：

1. 形式化统一感知能力 文章首先对 MLLM 的感知进行了形式化定义，将其视为一种内在的、统一的视觉-语言能力。这种定义类比于人类天生的感知能力，强调视觉和语言并非独立处理的信号，而是相互交织、共同构成对世界认知的整体。这一视角挑战了传统上将视觉编码器（Vision Encoder）和语言解码器（Language Decoder）简单拼接的做法，主张从底层逻辑上实现模态的深度融合。

2. 五阶段范式演进分类法 为了清晰展示技术发展的脉络，文章引入了一种五阶段分类法（five-stage taxonomy），追溯 MLLM 感知范式的演变历史。每个阶段都代表了感知能力的一次跃迁，并列举了该阶段的代表性方法和里程碑事件：

• 早期探索阶段：主要关注简单的特征对齐，如使用 CLIP 等预训练模型提取视觉特征并映射到语言空间。
• 结构增强阶段：引入更复杂的连接器（Connectors）和投影层，试图解决视觉与语言特征分布不一致的问题，如 Q-Former、Perceiver Resampler 等架构的出现。
• 指令微调阶段：通过大规模视觉-语言指令数据对模型进行微调，使模型具备初步的跨模态推理能力，如 LLaVA 系列的早期版本。
• 复杂推理阶段：模型开始具备处理复杂场景、多步推理和细粒度理解的能力，强调感知与逻辑推理的结合。
• 统一感知阶段（当前前沿）：以 OpenAI O 系列和 DeepSeek R 系列为代表，模型展现出高度的感知中心智能，能够像人类一样无缝整合视觉线索与语言逻辑，实现真正的端到端统一感知。

3. 开放挑战与研究展望 在梳理完演进历程后，文章识别了当前领域面临的开放挑战，并勾勒出通向真正通用、统一多模态智能的未来研究方向。这些挑战包括：

• 感知幻觉（Perceptual Hallucinations）：模型如何确保视觉感知与语言输出的一致性，避免无中生有的描述。
• 细粒度对齐：如何实现像素级或对象级的精确语义对齐，而不仅仅是图像级别的粗略匹配。
• 计算效率与可扩展性：如何在保持高性能感知的同时，降低多模态处理的计算成本。
• 因果推理能力：如何从单纯的关联学习转向基于因果关系的视觉-语言推理。

关键要点

• 范式转变：MLLMs 正从“语言主导、视觉辅助”转向“以感知为中心”的智能范式，视觉不再是语言的附属品，而是理解世界的核心入口。
• 统一性视角：本文强调视觉和语言应被视为一个不可分割的整体模态，反对将其割裂为独立任务进行分别研究。
• 人类类比：将 MLLM 的感知能力形式化为类似人类天生感知能力的内在统一机制，为模型架构设计提供了新的理论依据。
• 五阶段演进：通过五阶段分类法，清晰界定了从简单特征对齐到复杂统一感知的发展路径，明确了各阶段的技术标志。
• 前沿驱动：OpenAI 的 O 系列和 DeepSeek 的 R 系列模型是推动当前感知范式转变的关键驱动力，代表了当前技术的最高水平。
• AGI 路线图：本研究不仅是对过去的总结，更是为通向人工通用智能（AGI）提供了一份基础理解与可操作的路线图。

意义与影响

这篇综述对于理解多模态大语言模型的未来发展方向具有重要的理论和实践意义。

首先，它填补了系统性综述的空白，为研究人员提供了一个统一的框架来审视视觉-语言感知的跨模态演进。通过打破视觉和语言研究的壁垒，它促进了跨学科的交流与合作，有助于构建更加连贯的技术发展叙事。

其次，提出的五阶段分类法为评估新模型的性能提供了基准。研究人员可以利用这一框架定位其工作在技术演进中的位置，从而更准确地评估创新点的贡献度。

最后，文章指出的开放挑战和研究方向为未来工作指明了路径。特别是在追求真正通用、统一的多模态智能过程中，如何解决感知幻觉、实现细粒度对齐以及提升因果推理能力，将是决定 MLLMs 能否从“模仿”走向“理解”的关键。这份综述不仅为学术界提供了丰富的研究灵感，也为工业界在模型架构设计和数据策略制定上提供了重要的参考依据，加速了通往 AGI 的进程。