CARE-PPO框架实现语言定量预测与置信度联合学习
速览
研究人员提出CARE-PPO强化学习框架，通过置信度对齐奖励将损失预测与actor-critic PPO微调衔接，实现精准数值估计与可靠置信度信号的联合学习。推理时将评论家网络重新用作置信度估计器。在医疗和金融两个实际任务及Qwen-3 4B/8B模型上，CARE-PPO在保持强预测性能的同时，生成比基于logit和口头化基线更对齐的置信度估计，并在分布外场景中保持优势。该框架还减少了对通用指令遵循提示的任务特定过拟合，体现了RL微调相较于监督方法的泛化优势。
AI 深度解读
背景
大型语言模型（LLM）在非结构化输入上进行语言化定量预测（language-based quantitative prediction）方面表现出强大能力，例如从临床笔记中估计疾病风险、或从财报电话会议中预测股价变动。然而，LLM 仍然容易产生幻觉（hallucinations）和过度自信的错误（overconfident errors）。这意味着在实际应用中，不仅要知道模型预测了什么，更关键的是要判断何时可以信任这些预测。现有的置信度估计方法（如基于 logits 的校准或口头化置信度）往往与预测质量脱节，无法提供可靠的 uncertainty 信号。为了解决这一问题，本文提出了 CARE-PPO（Confidence-Aligned Reward for Estimation with PPO），一种将损失预测（loss prediction）与 actor-critic PPO 微调相结合的强化学习框架，旨在同时学习准确的数值估计和可靠的置信度信号。
核心内容
CARE-PPO 的核心思想是：在语言化定量预测任务中，利用 actor-critic PPO 框架的天然结构——actor 负责生成预测，critic 负责估计状态价值——通过重新设计奖励函数，使 critic 学到一个与预测质量（预测误差）对齐的价值函数。然后在推理阶段，将 critic 的输出直接作为置信度估计（confidence estimate）使用。
具体而言，CARE-PPO 定义了一个 Confidence-Aligned Reward for Estimation（CARE 奖励）。该奖励是预测误差的函数：当预测误差小时奖励高，误差大时奖励低。这个基于密度的误差感知奖励（dense error-aware feedback）被同时用于训练 actor（通过最大化奖励来优化预测）和 critic（通过最小化奖励与 critic 价值之间的 TD 误差来学习价值函数）。标准 PPO 中 critic 学习的是期望累计奖励（即价值），而 CARE-PPO 通过精心设计奖励，迫使 critic 的价值近似于当前预测的误差倒数（或与误差负相关），从而让 critic 学会衡量预测的“好坏”程度。
在推理时，模型通过 actor 生成数值预测，同时复用 critic 网络的输出（即对应状态的价值）作为该预测的置信度分数。这样一来，置信度估计就不是从 actor 的 logits 或口头表述中衍生，而是来自一个专门为预测质量对齐而训练的网络。
实验在医疗和金融两个真实世界任务上进行，使用了 Qwen-3 两种规模（4B 和 8B）。与基于 logits 的校准方法和口头化置信度（verbalized confidence）基线相比，CARE-PPO 在定量预测性能相当的同时，生成的置信度估计与真实预测误差的对齐程度显著更优。此外，在现实中的分布外（out-of-distribution）场景下，包括语言迁移（linguistic shift）和领域迁移（domain shift），CARE-PPO 的优势依然保持。最后，CARE-PPO 还减少了模型在通用指令跟随提示（general instruction-following prompts）上的任务特定过拟合（task-specific overfitting），这与强化学习微调相比监督微调具有更广泛泛化优势的结论一致。
关键要点
- 问题：LLM 在语言化定量预测中易产生幻觉和过度自信错误，缺乏可靠的置信度估计。
- 方法：CARE-PPO 是一个强化学习框架，将损失预测（loss prediction）融入 actor-critic PPO 微调，通过 Confidence-Aligned Reward for Estimation（基于预测误差的稠密奖励）使 critic 学习到与预测质量对齐的价值函数。
- 推理时复用：训练后，critic 被直接用作置信度估计器，无需额外模型或校准步骤。
- 实验设置：在医疗和金融两个实际任务上，使用 Qwen-3 4B 和 8B 两种规模。
- 性能：定量预测性能与基线相当或更优；置信度估计与预测误差的对齐程度显著优于基于 logits 的校准和口头化置信度。
- 鲁棒性：在语言迁移和领域迁移的分布外场景下，优势依然保持。
- 额外优势：减少了任务特定过拟合，表明 RL 微调相比监督微调具有更好的泛化性。
- 参考文献与工具：论文提供了 Bibliographic Explorer、Connected Papers、Litmaps、scite Smart Citations、alphaXiv、CatalyzeX Code Finder、DagsHub、Gotit.pub、Hugging Face、ScienceCast 等资源链接，以及 arXivLabs 社区协作框架。
意义与影响
CARE-PPO 为 LLM 在需要高可靠性的定量预测场景（如医疗诊断、金融风控）中提供了实用解决方案。其核心贡献在于巧妙地重用了 actor-critic 框架中的 critic 作为置信度估计器，通过学习与预测误差对齐的价值函数，避免了额外的置信度建模或复杂的后校准流程。这种方法不仅提升了置信度估计的准确性，还保留了 PPO 在泛化方面的优势，减少了过拟合。未来，该框架可推广到更多需要 uncertainty 量化的语言任务（如问答、机器翻译中的置信度估计），并可能结合更大规模模型或基于模型的奖励设计进一步优化。此外，CARE-PPO 的思路也启发研究者重新思考强化学习价值函数在不确定性估计中的角色，推动 RL 在可信 AI 中的应用。