从“可能”到“确定”：语言模型重写中的确定性扭曲

来源：arXiv cs.CL (2026) 标题：From May' to Is': Certainty Distortion in Language Model Rewriting

背景

随着大语言模型（LLMs）在人类生活中的渗透日益加深，人们越来越多地利用它们来塑造信念并驱动决策。这种应用不仅限于简单的问答，更延伸至对科学文章、新闻报道和医疗报告等信息的讨论、重写和摘要生成。

在这些高风险或高专业度的领域中，一个主张（claim）表达的“置信度”或“确定性”至关重要。例如，在医疗建议或科学结论中，区分“某药物可能有效”与“某药物确定有效”具有天壤之别。然而，目前学术界和工业界对于语言模型在处理此类信息时，是否忠实保留了原始文本中的确定性程度，知之甚少。

本研究旨在填补这一空白，深入探究语言模型在重写任务中出现的“确定性扭曲”（Certainty Distortion）现象，即在不改变语义内容的前提下，模型对表达确定性程度的无意识改变。

核心内容

1. 定义与评估方法

研究团队首先定义了确定性扭曲：当语义内容保持不变时，语言模型在输出中对主张表达的确信程度发生了有意义的变化。

为了量化这一现象，研究者提出了一种基于语言模型的评估指标。该指标经过验证，与人类在群体层面上对确定性程度的判断保持一致，从而能够客观地衡量模型输出的确定性偏差。

2. 实验设计与发现

利用上述指标，研究团队在科学和医疗沟通任务背景下，对不同规模、不同架构（families）的语言模型进行了系统性测试。主要发现包括：

• 高发性：确定性扭曲现象极为普遍，影响了高达 75% 的语言模型输出。
• 系统性不对称：这种扭曲并非随机分布，而是呈现系统性的不对称。大多数语言模型在重写任务中，将确定性提高的可能性是降低确定性的 1.5 到 2 倍。换句话说，模型倾向于将“可能”、“或许”等模糊表述转化为“是”、“确定”等肯定表述。
• 累积效应：这种偏差在反复改写（paraphrasing）过程中会叠加放大。以医疗领域为例，模型 claude-haiku-4-5 在经过单次迭代后，会将 20% 的示例的确定性提高；而在经过五次迭代后，这一比例上升至 40%。这意味着，经过多次润色或摘要生成的文本，其语气会变得越来越绝对。
• 干预措施的效果：虽然基于提示词（Prompt-based）的干预措施可以在一定程度上减少整体的确定性扭曲，但无法完全消除这一偏差。

3. 核心结论

研究揭示了一种普遍存在的偏差：语言模型倾向于夸大表达的确定性。这种偏差在重写、摘要等生成式任务中尤为显著，且随着处理轮次的增加而加剧。

关键要点

• 确定性扭曲的定义：指在保持语义不变的情况下，语言模型改变了对主张的确信程度表达。
• 评估工具：提出了一种与人类判断一致的基于LLM的评估指标，用于量化确定性扭曲。
• 普遍性与严重性：高达 75% 的模型输出存在确定性扭曲现象。
• 单向偏差：模型更倾向于增加而非减少确定性（增加的概率是减少的 1.5-2 倍），导致文本语气变得过于绝对。
• 迭代放大效应：在医疗领域测试中，claude-haiku-4-5 模型在 5 次迭代后，确定性提升的比例从单次的 20% 激增至 40%。
• 干预局限性：提示词工程（Prompt Engineering）可以缓解但无法根除这一问题。
• 高风险领域警示：这种偏差对用户依赖 LLM 进行高风险决策（如医疗、法律、科学传播）构成了直接威胁。

意义与影响

这项研究对依赖大语言模型进行信息处理的用户和开发者具有重要的警示意义：

1. 信任危机与误用风险：在科学传播、新闻报道和医疗建议等高 stakes（高风险）领域，用户可能误以为经过 LLM 重写或摘要后的文本保留了原始文献的谨慎语气。实际上，模型可能已经将“相关性”或“可能性”扭曲为“因果性”或“确定性”，从而导致用户做出错误的判断或决策。
2. 模型设计的改进方向：当前的语言模型在生成任务中存在内在的“自信偏差”。开发者需要在模型训练或后处理阶段引入更严格的机制，以监控和控制输出语气中的确定性程度，特别是在需要保留不确定性信息的场景中。
3. 用户教育：用户在使用 LLM 处理专业信息时，应保持警惕，意识到模型可能会“过度自信”。对于关键信息，不应仅依赖模型的最终输出，而应回溯原始数据或进行多轮交叉验证。
4. 技术局限性：简单的提示词优化不足以解决这一系统性偏差，表明需要从模型架构或对齐策略（Alignment）层面寻找更根本的解决方案。

总之，这项研究揭示了语言模型在“语气”和“确定性”表达上的隐性偏见，提醒我们在享受生成式 AI 带来的效率提升时，必须对其在信息保真度方面的局限保持清醒认识。