BaFCo：面向复杂孟加拉语表格理解的文档基准

背景

文档理解是多模态大语言模型（MLLMs）面临的挑战性任务，尤其在现实、以人为本的应用中日益普及。然而，对于孟加拉语（Bangla）等低资源语言，这种普及受到高质量标注数据稀缺的限制。孟加拉语是全球使用人数众多的语言之一，但在文档理解领域的标注资源极为匮乏。为填补这一空白，研究人员提出了BaFCo——一个专注于孟加拉语表单理解的基准数据集，主要面向文档布局分析（Document Layout Analysis, DLA）和关键信息提取（Key Information Extraction, KIE）。

核心内容

BaFCo数据集从孟加拉国政府多部门收集了200份多页复杂表格，涵盖农业、教育、银行和土地管理等多个领域。这些表格结构复杂，包含大量嵌套字段、手写区域和混合排版。

为准确捕捉这些表单的结构和上下文复杂性，研究人员定义了一套细粒度标注模式，包含26种表单实体类型（如字段标签、字段值、签名、日期、印章等），并额外提供了一套由5种类型组成的粗粒度表单实体集（如标题、字段、注释等）。标注覆盖了表格的布局信息（如边界框、层级关系）和语义信息（如字段与值的关联）。

在评估方面，研究者对最新系列MLLMs进行了测试，包括ChatGPT、Gemini、Claude、Qwen和Kimi系列。实验采用零样本（zero-shot）和思维链（chain-of-thought）两种提示策略，并在低推理设置与高推理设置（如多次采样、温度调整）下进行。评估指标包括实体识别的精确率、召回率、F1分数以及布局定位的IoU等。

结果显示，当前MLLMs在理解孟加拉语表单方面存在明显局限性，尤其在精确定位高度细粒度的表单实体（如表格中的嵌套字段）方面表现不佳。即使在思维链和高推理设置下，模型对不规则布局、混合语言（孟加拉语与英语）和手写区域的识别仍然困难。

数据集和代码已公开，链接为论文中提供的URL（见原文）。

关键要点

• BaFCo是首个专门针对孟加拉语复杂表单理解的基准数据集，聚焦文档布局分析（DLA）和关键信息提取（KIE）。
• 数据集包含200份多页真实政府表格，来自农业、教育、银行、土地管理等多个不同领域。
• 定义了26种细粒度表单实体和5种粗粒度表单实体，以覆盖从字段级别到整体结构的语义和布局信息。
• 评估了ChatGPT、Gemini、Claude、Qwen、Kimi系列的最新MLLMs，使用零样本和思维链提示，在低、高两种推理设置下进行。
• 实验揭示当前MLLMs在精确定位高粒度表单实体（如嵌套字段、手写区域）上存在显著不足，整体性能受限。
• 数据集和代码已开源，为低资源语言文档理解研究提供了宝贵资源。

意义与影响

BaFCo的推出填补了孟加拉语文档理解领域基准数据的空白，为低资源语言下的多模态研究提供了可复现的评估平台。通过系统评估多个主流MLLMs，该工作明确了现有模型在处理非英语、结构化复杂表单时的瓶颈，尤其是细粒度实体定位方面的短板。这将推动后续研究聚焦于改进模型对多语言、低资源场景的适应能力，以及开发更有效的提示策略或训练范式。此外，BaFCo涉及的政府表格类别广泛，对未来自动化文档处理（如政务数字化、金融审核）具有实际应用价值，也为其他低资源语言（如印地语、阿拉伯语等）构建类似基准提供了方法论参考。