← 返回信息流
技术博客arXiv cs.CL·1 小时前

A Word-Level Digital Reader of the Prasthanatrayi with Sankara's Bhasya: Corpus, Method, and an Open, Offline Reading Aid for the Advaita Vedanta Canon

AI 深度解读

背景

《Prasthanatrayi》——包括十部主要《奥义书》(Upanisads)、《梵经》(Brahmasutra)和《薄伽梵歌》(Bhagavadgita),以及商羯罗(Sankara)的注释(bhasya)——是Advaita Vedanta(不二论)的 foundational corpus(基础语料库)。由于连续的元音连读(sandhi)、长复合词(samasa)以及密集的学术散文风格,该文本在词语级别上难以阅读:一个单词在哪里结束,以及每个单词的语法意义是什么,都被掩盖了。此前缺乏一个开放、离线、可逐词解析的数字阅读工具,能够同时处理原文(mula)和注释层,并支持词形分割、形态分析和检索。

核心内容

本文介绍了一个完全离线、开放、词语级别的数字阅读器,覆盖整个《Prasthanatrayi》及其商羯罗注释。该阅读器的所有词(包括原文和注释)均可点击,弹窗显示其拆分(padaccheda)、形态分析和释义(gloss)。由于每个词都关联一个词元(lemma),该阅读器也能作为索引(concordance)使用:搜索某个词典词头可检索到该词的所有屈折变化形式、被sandhi隐藏的出现位置,以及它在复合词中的出现,跨越原文和注释两层。

该资源覆盖了13个注释单元(共2,971节颂文、经文和散文段落;原文分析得到36,881个词出现),并构建了一个包含95,587个独特注释表层形式的全局词典。文章描述了语料库的构建方法、混合处理流水线——基于规则(结合屈折形式词典和已确认语料库查询的sandhi解析器)搭配LLM辅助分析(采用对抗性两轮验证协议),以及一个可持久化的人工审查循环(其修正能够保留到每次重新生成)。内在评估(intrinsic evaluation)显示,针对独立梵语资源,高置信度的分析与权威屈折形式词典的匹配率超过99%;盲审(band-blind adjudication)确认,质量随置信度区间可预测地下降,错误集中在低置信度层级——这正是审查循环所针对的目标。该阅读器是一个自包含的单个HTML文件,无需服务器或网络,可作为自由分发的教学和阅读辅助工具。

关键要点

  • 语料范围:覆盖《Prasthanatrayi》(十部主要奥义书、梵经、薄伽梵歌)及其商羯罗注释。
  • 逐词解析:每个词均可点击,弹窗显示词拆分(padaccheda)、形态分析、释义。
  • 词元索引:基于词元(lemma)可检索所有屈折、sandhi隐藏、复合词内的出现,跨越原文和注释。
  • 数据规模:13个注释单元,2,971节,36,881个原文词出现,95,587个独特注释表层形式。
  • 混合方法:规则基础sandhi解析器(搭配屈折形式词典和语料库查表)+ LLM辅助分析(对抗性两轮验证)。
  • 人工审查循环:人工修正可持久化,每次重新生成时保留。
  • 评估结果:高置信度匹配权威词典>99%;质量随置信度下降,错误集中在低置信度区间。
  • 交付形式:单个自包含HTML文件,完全离线可用,无需服务器或网络。
  • 授权:自由分发,作为教学和阅读辅助工具。

意义与影响

该工作为Advaita Vedanta经典文献的数字化研究提供了前所未有的工具。它首次实现了《Prasthanatrayi》全文(包括原文和注释)的词语级别解析和索引,填补了梵文计算语言学中缺乏高质量、开源、离线阅读器的空白。其混合流水线结合了规则和LLM,并引入了对抗性验证协议,为处理sandhi和复合词复杂的古典语言提供了可复现的方法。人工审查循环的设计保证了长期可持续的质量改进。最终产品是一个简易的HTML文件,无需技术门槛即可用于教学、研究和个人阅读,有望推动梵文经典在数字人文领域的广泛使用。此外,该框架可推广至其他具有类似语言特征的古典语料。

查看原文 →arxiv.org