新方法用RNN逆转中世纪文本字符简写

背景

中世纪手稿的转录工作面临独特挑战：不同抄写员的书写习惯差异巨大，加之各档案馆和图书馆的数字化政策不统一，导致同一文本在不同数字版本中可能使用截然不同的字符集。例如，某些版本保留中世纪的缩略符号（如用“ā”代替“am”），另一些则将其展开为完整字母；部分版本使用带变音符号的字符（如“þ”），而现代转录可能简化为“th”。这种字符集的不确定性使得跨语料库的文本比对、检索和分析变得异常困难。现有方法通常依赖手工规则或针对特定语言设计的规范化工具，难以灵活适应任意字符集之间的转换。本文提出一种基于循环神经网络（RNN）的通用框架，旨在以最小监督实现中世纪文本的字符级映射——无论是简化字符的还原，还是缩写的扩展。

核心内容

本文围绕“字母词形还原”（letter lemmatization）这一概念，提出三大核心方法，全部在字符级别运行。

1. 一对一RNN（One-to-one RNNs）用于逆转字符集简化

该方法针对一对一的字符映射问题（例如字符<还>被系统地替换为<z>，或<þ>被替换为<th>）。作者训练字符级的一对一RNN，利用自监督学习来逆转这种简化：模型输入简化后的字符序列，输出还原后的字符序列。实验表明，即便只有20行训练文本（约500-1000个字符），模型也能恢复一半的字符错误率（CER）。进一步将其用于手写文本识别（HTR）后校正时，模型在完全忽略插入与删除错误（ins-dels）的情况下，依然显著提升了HTR输出与真实文本之间的准确率——这意味着它专注于纯替换错误的修正，而对字符数量变化的错误无能为力。

2. 带状RNN（Banded RNNs）用于缩写扩展

针对中世纪的缩写问题（例如“misericordia”被简写为“mʳᵋ”），映射不再是一对一，而是一对多。作者使用完全相同的网络架构，但采用不同的训练和推理模式，称为“带状RNN”。关键区别在于：训练数据来自平行语料（同一文本的缩写版与完整版），通过字符级对齐生成groundtruth（每个缩写字符对应一个或多个完整字符）。推理时，模型被约束为只在有限的“带状”区域内输出——即每个输入位置只能产生一个固定窗口内的输出字符，从而自然处理一对多映射。该方法在中世纪特许状（charter）转录上成功扩展了缩写，效果优于传统基于规则的方法。

3. 字母词形还原的启发式度量

为了在无需平行语料的情况下也能构建字符映射，作者提出一种启发式方法：给定任意两个字符集（如原始字符集A和简化字符集B），计算两字符之间的语义相似度度量。该度量考虑了字符的形状相似性、发音对应关系、以及上下文统计特征。作者将这种从两个字符集中自动构造映射的过程称为“字母词形还原”。上述所有方法被整合为一个丰富的Python库，高效实现从训练到推理的完整流程。

关键要点

• 问题定位：中世纪文本的字符集不确定性是阻碍跨语料库分析的核心瓶颈，现有方法缺乏灵活性。
• 核心创新：提出两种RNN模式——一对一RNN（适用于字符替换）和带状RNN（适用于缩写扩展），均工作在字符级别，无需大量标注数据。
• 数据效率：一对一RNN仅需20行文本即可恢复一半CER，体现了自监督学习的有效性。
• HTR后校正应用：一对一RNN在忽略插入/删除错误的情况下仍显著提升准确率，说明其专注于替换错误的修正。
• 带状RNN的推理约束：通过引入带状输出窗口，自然处理一对多映射，适合缩写扩展这类非平凡对齐任务。
• 启发式映射：提出无需平行语料的语义相似度度量，可自动生成任意两个字符集之间的映射，扩展了方法的应用场景。
• 开源实现：提供完整的Python库，涵盖从数据准备、模型训练到部署的全流程，降低了复现门槛。

意义与影响

这项研究为中世纪文本的数字人文分析提供了实用工具。首先，它解决了长期存在的“字符集碎片化”问题：不同转录版本之间的自动对齐和规范化将不再需要手写规则，而是可以通过少量数据训练一个通用RNN完成。其次，带状RNN的提出为序列到序列学习中非单调对齐问题提供了一种轻量级替代方案（相比attention机制），特别适合字符数差异不大但模式固定的缩写扩展。第三，启发式映射的引入使方法可以应用于任意无平行语料的历史语种，极大提升了迁移能力。

从更广的角度看，本文的方法框架不仅限于中世纪文本：任何需要在不平行字符集之间转换的场景（如古代语言转写、方言拼写标准化、OCR后校正）均可借鉴。作者强调“字母词形还原”作为一项独立任务，与传统词级词形还原（lemmatization）形成互补——后者处理词形变化，前者处理字符集变化。未来的工作可进一步将这两种词形还原结合，或探索跨语言字符集的自动语义相似度学习。