叙事扁平化：后训练如何压缩大语言模型小说的主题、情感与风格变异

背景

大型语言模型（LLM）如今已能生成流畅的小说文本，但在广泛的用户体验与学术观察中，其创作输出常被批评为“平淡”或“缺乏深度”。这种“扁平感”究竟源于预训练阶段的数据分布，还是后训练（Post-Training）过程中的优化机制？此外，这种质量缺陷是否均匀地影响了人类小说的不同领域（如专业文学、公众平台故事、提示词引导的故事）？

为了回答这些问题，研究人员构建了一个跨领域的匹配故事续写范式。该研究选取了三个具有代表性的故事来源作为基准：

1. StoryStar：公众平台故事。
2. TMAS：提示词引导的故事。
3. The New Yorker（《纽约客》）：专业文学小说。

研究团队使用 OLMo 32B 模型的四个不同检查点（Checkpoints）生成续写文本，分别是：

• Base：基础预训练模型。
• SFT：监督微调（Supervised Fine-Tuning）。
• DPO：直接偏好优化（Direct Preference Optimization）。
• RLVR：基于强化学习的验证推理（Reinforcement Learning from Verification/Reasoning）。

由于这些检查点共享相同的架构、规模、分词器（Tokenizer）和预训练数据，这一实验设计有效地隔离了后训练对模型叙事能力的影响。

核心内容

本研究通过对比模型生成的续写文本与匹配的人类文本，从三个句子层面的维度对叙事质量进行了量化评估：主题运动（Thematic Motion）、情感普遍性（Affective Prevalence）以及语言多样性（Linguistic Diversity）。

1. 后训练导致动态变异的压缩

研究发现，随着后训练阶段的推进（从 Base 到 SFT、DPO 再到 RLVR），模型在三个维度上均表现出动态变异的压缩现象：

• 主题过渡趋于统一：故事中的主题转换变得更加单一和可预测，失去了人类写作中常见的复杂跳跃或微妙转折。
• 高强度情感让位于中立：原本可能存在的激烈情感波动被“平滑”处理，模型倾向于生成情感强度较低、更为中立的文本。
• 风格多样性收缩：不同故事之间的风格差异显著减小，模型输出的文本呈现出高度的同质化。

研究者将这种渐进式的损失定义为**“叙事扁平化”（Narrative Flattening）**。

2. 效应方向稳定，但差距大小取决于人类基准

“叙事扁平化”效应在不同故事领域中的方向是稳定的（即总是趋向于压缩变异），但压缩的程度（Gap Size）取决于所选的人类基准文本的特性：

• 专业文学小说压缩最严重：在《纽约客》这类专业文学基准下，模型与人类文本之间的差距最大。这是因为专业文学本身就具有极高的主题复杂性、情感强度和风格独特性，而模型的后训练过程极大地抹平了这些特征。
• 公众平台与提示词引导故事差距较小：在 StoryStar 和 TMAS 领域，模型与人类基准的差距相对较小。这符合预期，因为这些领域的人类文本本身就更接近模型在默认状态下的叙事节奏和风格。

3. 对齐导致领域不敏感性

值得注意的是，经过后训练的模型端点在三个领域之间表现出收敛趋势。这表明，当前的对齐（Alignment）技术产生了一种续写机制，该机制在很大程度上对源领域的叙事纹理（Narrative Texture）不敏感。无论输入的故事背景是严肃文学还是通俗故事，模型最终输出的“味道”越来越相似，失去了对特定领域叙事风格的适应能力。

关键要点

• 定义“叙事扁平化”：后训练过程（包括 SFT、DPO、RLVR）会导致 LLM 在主题、情感和风格上的动态变异被系统性压缩，使输出文本趋于平淡和同质化。
• 隔离变量设计：通过固定架构、规模和预训练数据，仅改变后训练阶段，研究确证了“扁平化”是后训练优化的直接后果，而非预训练数据的固有缺陷。
• 三个维度的量化证据：
  • 主题运动：过渡变得均匀，缺乏复杂性。
  • 情感普遍性：高强度情感被中和，趋向中立。
  • 语言多样性：跨故事的风格差异缩小。
• 基准依赖性：模型与人类文本的差距大小取决于人类基准的“丰富度”。专业文学（如《纽约客》）受到的“扁平化”冲击最大，因为其原始变异程度高；而通俗故事因本身接近模型默认节奏，差距较小。
• 对齐的副作用：当前的对齐技术（如 RLVR）可能导致模型丧失对不同叙事领域的适应性，产生一种通用的、缺乏纹理的续写模式。

意义与影响

这项研究揭示了当前大语言模型在创意写作领域的一个核心瓶颈：对齐优化与叙事丰富度之间的权衡。

1. 对模型开发的启示： 当前的后训练范式（特别是基于偏好的优化如 DPO 和 RL）在提升模型“安全性”或“有用性”的同时，可能以牺牲创作的多样性和深度为代价。开发者需要意识到，过度对齐可能导致模型输出“安全但无聊”的内容。未来的优化目标可能需要引入对“多样性”或“风格保留”的显式奖励，以对抗叙事扁平化。

2. 对评估体系的挑战： 现有的自动评估指标往往侧重于流畅性、连贯性或事实准确性，而忽略了叙事的动态变异。本研究提出的三个维度（主题运动、情感普遍性、语言多样性）为评估 LLM 创意写作质量提供了更细粒度的量化框架。

3. 人机协作的边界： 研究结果表明，模型在处理高度专业化、风格独特的文学创作时存在天然局限。在需要极高叙事纹理的场景中（如严肃文学创作），人类作者的价值依然不可替代。模型更适合作为基于通用叙事节奏的辅助工具，而非专业文学创作的替代者。

4. 未来研究方向： 如何设计后训练算法，使其能够在保持对齐效果的同时，保留甚至增强模型对不同叙事领域纹理的敏感性，将是后续研究的重要方向。此外，探索如何在推理阶段动态调整模型的“变异度”，以匹配不同创作需求，也是一个潜在的技术突破口。