多语言视觉语言模型空间指示词能力评估

背景

视觉语言模型（Vision-Language Models, VLMs）被期望具备基于给定文本和图像进行空间推理的能力。空间指示表达（spatial deictic expressions）——例如“这个”（this）和“那个”（that）——的语义依赖于具体情境：其指代对象由说话时所处的视觉和语言环境共同决定。要正确处理这类表达，VLM 必须联合推理语言与视觉空间，将上下文相关的指代锚定到图像的空间结构中。此外，不同语言对空间距离的编码方式存在差异，VLM 需要在多语言场景下理解这些语言特定的空间区分，才能选择恰当的指示词。然而，现有基准测试往往忽略对多语言空间指示能力的系统评估，因此该研究旨在填补这一空白。

核心内容

该论文提出一个基准测试（benchmark），用于评估 VLM 在四种语言中使用空间指示表达的多语言能力。研究聚焦于指示词（demonstratives）——即通过情境上下文确定所指对象的空间表达，典型如英语中的“this”和“that”。为了正确使用指示词，VLM 需要同时推理文本与图像，理解情境依赖的指代关系，并将其与图像中的空间结构相匹配。由于不同语言对空间距离的编码规则不同（例如某些语言区分近/远、或存在更细粒度的距离层级），VLM 还需掌握这些语言特定的空间区分。

研究者构建了包含多语言、多场景的测试集，覆盖四种语言（原文未具体列出语言名称，仅提及“four languages”），并设计了任务以衡量模型根据物体距离选择合适的指示词的能力。实验结果表明，被测试的 VLM 在使用指示词时与人类行为存在显著差异，尤其是在根据目标物体距离选择恰当指示词这一维度上。模型倾向于采用与人类不同的策略，未能像人类一样敏感地利用距离线索来区分“近”与“远”的指示表达。

关键要点

• 研究焦点：VLM 在空间推理任务中正确使用空间指示表达的能力，尤其是多语言场景下的表现。
• 核心任务：要求模型基于图像中物体的相对距离，从语言提供的指示词选项中选出最合适的一个（如英语中的“this” vs. “that”）。
• 多语言覆盖：基准测试包含四种语言，旨在评估模型对不同语言空间区分系统的理解。
• 实验发现：所有测试模型均表现出与人类不一致的指示词选择行为，特别是在距离相关性上——模型未能像人类一样将距离作为关键区分因素。
• 方法特点：基准测试直接从空间指示表达这一语言现象切入，强调 VLM 需联合理解情境（语言与视觉上下文）才能完成任务，而非单纯依赖静态词义。

意义与影响

该研究首次从多语言空间指示表达的角度系统评估 VLM 的空间推理能力，揭示了当前模型在捕捉语言与视觉结合的情境依赖性方面仍存在显著缺陷。基准测试的构建为后续 VLM 在空间语言理解上的改进提供了可量化的评价工具。其发现表明，即使模型在常见的视觉问答任务中表现良好，在处理像指示词这样高度依赖情境的语言单元时，其能力与人类仍相距甚远。这提示未来研究需要更注重语言与视觉的深层对齐，并针对语言特定的空间编码进行专门训练或架构设计。此外，多语言视角的引入有助于检验模型是否真正习得了跨语言通用的空间推理机制，而非仅依赖表面统计规律。