Live Gurbani Tracking: A Benchmark and Reference System for Captioning Sikh Kirtan

背景

Sikh Kirtan（锡克教唱诵）是一种连续、歌唱式的经文朗诵，内容来自 Sri Guru Granth Sahib Ji（SGGS，锡克教圣典）。与开放词表的歌词转录不同，Kirtan 的字幕生成是一个封闭词表问题：每一行显示的文字必须严格对应圣典中的逐字行，因为显示拼写错误的 Gurmukhi（古木基文）在宗教上被认为是不合适的。现有的自动语音识别（ASR）指标（如 WER/CER）衡量的是转录准确性，而非本任务所需的显示准确性。因此，作者提出了一个专门针对实时 Kirtan 字幕的基准测试和参考系统。

核心内容

本文来自 arXiv（cs.CL），提交于 2026 年 7 月 15 日。作者形式化了任务：在每个时间点 t，模型需要预测一个三元组 (shabad_id, line_idx) 或空值（表示无唱诵）。其中 shabad_id 是圣典中特定诗节的标识符，line_idx 是该诗节中的某一行。

问题空间被组织为一个 2×2 矩阵，基于两个正交维度：

• 实时 vs. 离线（因果 vs. 全音频访问）
• 盲 vs. 先知（shabad 身份需自行发现 vs. 已知给定）

此论文聚焦于最困难的变体：实时 × 盲（live x blind），即系统在无未来音频且不知晓当前唱诵具体诗节的情况下，实时输出正确的行。

作者发布了 v1 基准测试，包含：

• 4 段人工标注的 Kirtan 录音
• 每段录音 3 种冷启动偏移（cold-start offsets），共 12 个评估案例
• 约 57 分钟的评分音频
• 配套的评分工具，以 1 秒分辨率计算帧准确率，并带有 1 秒容差（collar）以及分段边界处的间隙容忍评分。

参考系统描述如下：

• 使用微调的 120M IndicConformer 模型（一种适用于印度语言的端到端 ASR 模型）
• 后接模糊匹配器（fuzzy matcher）和状态机（state machine）
• 导出为 INT8 ONNX 格式，推理速度约为 RTF 0.05（在一颗 Apple Silicon 核心上）
• 在实时 x 盲的最难变体上，整体帧准确率达到 57.9%，12 个案例中有 10/12 成功锁定到正确的 shabad。

作者还比较了三个简单基线：空输出、偏移 5 秒、完美输出，并指出标准 ASR 指标（WER/CER）测量的是转录准确性，而非本任务所需的显示准确性。

论文、参考系统及一个实时部署版本均以宽松许可证发布，以促进进一步改进。

关键要点

• 任务定义：实时 Kirtan 字幕是一个封闭词表的定位与对齐问题，输出必须精确匹配 SGGS 中的行，不允许拼写错误。
• 问题空间矩阵：正交维度（实时/离线）与（盲/先知）形成四个象限，最难的是实时×盲。
• 基准 v1：由 4 段人工标注录音、每种 3 种偏移共 12 个案例组成，～57 分钟评分音频，配有专用的帧准确率评分工具（含 collar 和间隙容忍）。
• 参考系统：使用 120M IndicConformer 微调 → 模糊匹配 → 状态机，INT8 ONNX 部署，RTF ≈ 0.05，在实时×盲任务上达到 57.9% 帧准确率，10/12 案例正确锁定 shabad。
• 与标准 ASR 对比：WER/CER 衡量的是逐词转录正确率，而本任务要求的是显示行级的精确匹配（包括时间对齐），因此传统指标不适用。
• 开放发布：基准、参考系统和实时部署均采用宽松许可，便于社区复现和改进。

意义与影响

• 填补空白：此前缺乏针对宗教唱诵（特别是 Sikh Kirtan）的实时字幕标准与评测，本文首次提供了形式化定义和基准。
• 实用价值：实时字幕对锡克教宗教仪式（如 Gurdwara 中的直播或现场服务）有直接应用，帮助信众跟随经文。
• 技术启示：将问题建模为封闭词表定位（而非开放词表 ASR），展示了领域特定约束下如何简化任务、提升可用性。其状态机+模糊匹配的流程对类似“必须显示精确原文”的实时字幕场景（如古诗词、经典文献）具有参考价值。
• 评估方式创新：提出帧准确率与间隙容忍评分，相较于 WER/CER 更能反映实际显示质量。
• 促进多语言/低资源研究：使用 Gurmukhi 和 IndicConformer，体现了对印度本土语言和宗教文本的 NLP 研究支持。