非英语语言推理成本研究：以日语为例

背景

当前最强力的推理语言模型（Reasoning Language Models, RLMs）在英语上表现最佳，因为推理导向的训练数据绝大部分是英语。然而，推理过程（reasoning trace）是模型可解释性和安全性的重要线索，对模型用户和开发者都具有实际价值。因此，理想情况是让模型能够用用户选择的语言进行推理，同时保持强大的推理性能。本文以日语为案例，研究非英语语言推理的可行性与代价，探索训练一个能在日语中有效推理的模型是否可能，并评估其实际效果。

核心内容

研究团队基于 Qwen-3-Swallow-8B 构建了日语推理变体。Qwen-3-Swallow-8B 是一个从 Qwen-3-8B 持续预训练（continual pretraining）得到的日语大语言模型（LLM）。他们使用 GRPO（一种强化学习优化方法）对该模型进行训练，使其具备日语推理能力。训练完成后，在编码（coding）、数学（math）和科学（science）三个领域的基准测试上评估其性能。实验表明，通过 GRPO 训练一个日语持续预训练模型，可以实现推理语言控制——即模型能够使用日语进行推理。然而，其推理性能最多仅能与强英语推理基线（strong English-reasoning baselines）持平，并未超越。此外，研究还评估了该模型在日语文化相关基准（Japanese cultural benchmarks）上的表现，发现模型性能竟低于基线模型（指未专门训练日语推理的对照模型）。这一结果说明，简单地让模型用日语推理并不能免费（for free）提升其在文化相关任务上的表现；反而可能因为训练数据或优化目标的偏差导致性能下降。

关键要点

• 推理语言控制可行：使用 GRPO 训练日语持续预训练模型（Qwen-3-Swallow-8B）可以引导模型用日语进行推理。
• 性能上限与英语基线持平：在编码、数学、科学基准上，日语推理模型的性能最乐观情况下与强英语推理基线相当，未出现显著优势。
• 文化任务表现更差：在日语文化基准上，经过日语推理训练的模型性能不如未经过此类训练的基线模型，表明日语推理不会自动带来文化任务上的提升。
• 数据与目标匹配问题：日语推理训练可能过度专注于推理逻辑，忽略了文化语境知识，或者训练数据中文化相关样本不足，导致文化任务退化。

意义与影响

该研究揭示了非英语语言推理面临的现实挑战：尽管通过微调可以控制模型的推理语言，但这种控制并不等价于性能提升。对于希望部署多语言推理模型的企业（如面向日语用户的产品），需要认识到单纯改变推理语言可能无法获得与英语相当的效果，尤其当涉及文化特定知识时。未来方向可能包括：收集更多高质量的非英语推理训练数据（特别是文化相关任务数据）；设计更针对性的优化目标，使模型在保持推理能力的同时不丢失文化语境理解；或者采用混合语言推理策略（如推理时使用英语，输出时翻译）。此外，该工作也为可解释性和安全性研究提供了警示：如果用户依赖模型用其母语推理来检查逻辑，实际效果可能不如预期，开发者和用户都需谨慎评估。