从长新闻到精准预测：基于重要性感知的融合与 PRM 引导反思的时间序列预测

背景

在时间序列预测领域，将新闻数据纳入预测模型一直是一个极具吸引力的方向。历史数值往往只能反映过去的趋势，而突发性的外生事件（如政策变动、自然灾害、地缘政治冲突等）通常无法仅通过历史数据推导出来。新闻文本能够捕捉这些突变信号，从而提升预测的准确性。

然而，现有的基于大语言模型（LLM）的新闻-预测流水线在实际应用中面临着两个主要的实践局限性：

1. 上下文窗口限制：相关的新闻文章往往篇幅较长，总长度容易超过模型的处理上下文窗口（Context Window）。
2. 检索盲目性与低效性：当需要补充新闻时，迭代检索通常是“盲目”的，缺乏引导。这导致系统不断获取冗余信息，更新效率低下，收敛速度慢，且难以保证每次检索到的新闻都对当前预测有实质帮助。

针对上述问题，这篇来自 arXiv 的新论文提出了一种新颖的框架，结合了重要性感知的新闻压缩和过程级检索监督，旨在解决长文本处理和信息筛选效率的问题。

核心内容

该研究提出了一种全新的时间序列预测框架，其核心创新点在于引入了两个经过离线训练的关键组件：重要性奖励模型（Importance Reward Model）和过程奖励模型（Process Reward Model, PRM）。

1. 重要性感知的新闻压缩（Importance-Aware News Compression）

为了解决新闻文章过长且超出上下文窗口的问题，作者设计了一种基于“重要性”的信号来分配压缩预算的机制。

• 重要性奖励模型训练：首先，训练一个重要性奖励模型。该模型能够评估每篇新闻文章对最终预测任务的“效用”（Utility）。
• 顺序成对融合：在预测过程中，系统采用顺序成对融合（Sequential Pairwise Fusion）的方式处理新闻。
• 动态预算分配：利用重要性奖励模型输出的信号，系统决定在有限的上下文窗口内保留哪些内容。高重要性的内容会被完整保留或详细压缩，而低重要性的内容则被大幅精简或丢弃。
• 目标：确保在固定的上下文限制内，保留最具信息量的内容，从而在不丢失关键外生信号的前提下，适应模型的输入长度限制。

2. 过程奖励模型引导的检索（PRM-Guided Reflection）

为了解决迭代检索中盲目性和冗余更新的问题，作者引入了过程奖励模型（PRM）来指导新闻的补充检索。

• 替代盲目检索：传统的迭代方法往往是“一次生成，盲目检索”，而 PRM 将这一过程转变为“质量控制的筛选”。
• 多维度排序：PRM 会根据当前的误差分布（Error Profile，即模型当前预测偏差较大的部分）以及已选文章的历史记录，对多个候选补充新闻进行排名。
• 精准补充：系统不再随机或简单地检索最新新闻，而是专门寻找那些能够弥补当前预测盲区、且与已有信息互补的高质量新闻。
• 离线训练，在线冻结：这两个组件（重要性奖励模型和 PRM）均使用带有真实标签（Ground Truth）的历史数据进行离线训练。在推理阶段，过滤逻辑和压缩模块是冻结的（Frozen），不需要在推理时进行复杂的反思循环（Reflection Loop），从而保证了效率。

3. 实验验证

作者在多个领域的基准测试中验证了该方法的有效性，包括：

• 金融（Finance）
• 能源（Energy）
• 交通（Traffic）
• 比特币（Bitcoin）

实验结果显示，该方法在预测精度上优于强大的基线模型。

关键要点

• 解决长文本痛点：通过重要性感知的压缩机制，有效处理了超出 LLM 上下文窗口的长新闻文章，避免了信息截断或丢失。
• 提升检索效率：引入过程奖励模型（PRM）替代传统的盲目迭代检索，显著减少了 refinement（精炼/修正）迭代的次数，加快了收敛速度。
• 离线训练，高效推理：所有复杂的筛选和压缩逻辑均在离线阶段完成训练，推理阶段使用冻结模型，无需在线反思循环，兼顾了精度与速度。
• 跨领域通用性：该方法在金融、能源、交通和加密货币等多个具有不同特征的时间序列预测任务中均表现出优越性。
• 误差驱动的新闻选择：PRM 能够根据当前模型的预测误差动态调整新闻检索策略，实现了“缺什么补什么”的精准信息补充。

意义与影响

这项研究对于将非结构化文本数据（特别是长文本新闻）有效整合进结构化时间序列预测模型具有重要的理论和实践意义。

1. 突破上下文限制的新范式：传统的 RAG（检索增强生成）或简单的文本拼接方法在处理长新闻时往往效率低下。该论文提出的“重要性感知压缩”提供了一种在有限资源下最大化信息保留的策略，为处理长文档的时间序列预测提供了新思路。
2. 从“检索”到“筛选”的范式转变：通过引入 PRM，研究将新闻检索从一个被动的、基于相似度的过程，转变为一个主动的、基于预测误差反馈的质量控制过程。这标志着时间序列预测中多模态信息融合向更精细化、智能化方向迈进。
3. 实用化落地潜力：由于推理阶段无需复杂的反思循环，该框架在实际部署中更具可行性，特别是在对实时性要求较高的金融或交易场景中，能够显著降低计算延迟和 Token 消耗。
4. 推动多模态预测发展：该工作证明了结合外部事件信号（新闻）与内部历史模式（时间序列）的混合模型，在捕捉突发外生事件方面具有显著优势，为未来更复杂的多模态预测系统奠定了基础。