PersonaDrive：基于人类风格检索增强的闭环驾驶仿真 VLA 智能体

背景

闭环驾驶模拟器（Closed-loop driving simulators）是自动驾驶算法训练与测试的核心基础设施。在这些模拟器中，环境通常由非 ego（非自车）交通智能体填充，以模拟真实的交通流。然而，现有的非 ego 智能体行为模式往往趋于单一：它们要么基于规则的交通管理器生成，要么由针对单一行为模式训练的机器学习模型生成。这种同质化的行为导致仿真环境缺乏多样性，难以全面评估自动驾驶系统在复杂、多变交通场景下的鲁棒性。

尽管近期研究试图通过事后标签（post-hoc labels）或大语言模型（LLM）推断的奖励权重来引入行为风格的差异，但这些方法本质上只是对“某种风格应获得何种奖励”的代理信号，而非人类驾驶员在明确指令下主动展示的行为示范。这种间接的信号无法真实还原人类驾驶员在特定风格（如激进、保守或中性）下的驾驶习惯和决策逻辑。

为了解决这一问题，研究人员提出了 PersonaDrive，一种基于视觉-语言-动作（Vision-Language-Action, VLA）模型的闭环驾驶仿真框架。该框架旨在通过检索增强技术，让非 ego 智能体能够模拟具有不同“人格”或驾驶风格的人类驾驶员行为。

核心内容

PersonaDrive 的核心思想是利用人类驾驶员在特定风格指令下的真实驾驶数据，通过检索增强机制，微调一个通用的 VLA 驾驶智能体，使其能够在闭环仿真中生成多样化且符合人类习惯的非 ego 交通行为。

1. 数据收集：风格化人类驾驶数据集

研究团队构建了一个专门的人类驾驶数据集。参与者在一个“人在回路”（driver-in-the-loop）的驾驶模拟器上，按照明确的指令驾驶 CARLA 排行榜路线。指令分为三种风格：

• 激进（Aggressive）
• 中性（Neutral）
• 保守（Conservative）

这种数据收集方式确保了行为示范直接来源于人类在特定心理状态或驾驶意图下的真实操作，而非事后推断的代理信号。

2. 三阶段处理流程

PersonaDrive 的管道包含三个关键阶段：

• 阶段一：离线三元组挖掘（Offline Triplet Mining） 针对每种风格的人类驾驶数据，利用结合图像和文本相似度的评分机制，挖掘出高质量的三元组数据。这一步旨在从海量驾驶数据中提取出最具代表性的行为片段。

• 阶段二：训练轻量级检索头（Lightweight Retrieval Head） 训练一个轻量级的检索模块，该模块融合了冻结的视觉特征（frozen visual features）和一个小型的控制编码器（control encoder）。该检索头针对每种风格的数据库进行训练，能够根据当前的驾驶状态，从对应的风格数据库中检索出最相似的历史驾驶片段。

• 阶段三：VLA 骨干网络微调（Fine-tuning VLA Backbone） 对一个单一的 VLA 骨干网络进行微调。在航点预测（waypoint prediction）过程中，检索到的上下文点被视为“上下文行为示范”（in-context behavioral demonstrations）。这意味着模型不仅依赖当前的视觉输入，还参考了检索到的类似人类驾驶案例，从而生成更符合人类风格的行为。

3. 推理与风格切换

在推理阶段，PersonaDrive 展现出极高的灵活性。通过简单地切换检索头所查询的风格数据库，同一个 VLA 骨干网络即可被条件化为任何所需的驾驶风格。这种设计使得：

• 无需重新训练：选择特定风格不需要针对该风格进行单独的模型训练。
• 多样化生成：能够生成具有人类风格、风格多样的非 ego 智能体，用于闭环仿真。

4. 实验结果

在 Bench2Drive 基准测试中，PersonaDrive 取得了显著的性能提升：

• 无风格条件（No style）：驾驶得分比 SimLingo 高出 4.6%，比 HiP-AD 高出 2.5%。
• 有风格条件（Style conditioning）：在每种风格下均取得了最高的驾驶得分，且各风格间的得分差异保持在约 2% 的窄带内。
• 对比基线：PersonaDrive 最弱的风格表现仍比最强基线 DMW 高出 5.4%。
• 行为特征变化：从保守指令切换到激进指令时，平均速度提升了 18%，平均加速度提升了 25%，证明了模型能够真实反映不同驾驶风格的行为差异。

关键要点

• 直接人类示范优于代理信号：PersonaDrive 摒弃了基于 LLM 推断奖励权重等间接方法，转而使用人类驾驶员在明确指令下的真实驾驶数据作为行为示范，提高了风格模拟的真实性。
• 检索增强 VLA 架构：通过结合视觉特征、控制编码器和检索机制，将历史人类驾驶片段作为上下文信息输入 VLA 模型，增强了模型对复杂驾驶情境的理解和模仿能力。
• 解耦的风格控制：通过切换检索数据库实现风格切换，无需针对每种风格重新训练模型，实现了高效、灵活的风格多样化生成。
• 显著的仿真性能提升：在 Bench2Drive 基准测试中，PersonaDrive 在多种指标上均优于现有基线模型（如 SimLingo, HiP-AD, DMW），证明了其在提升闭环驾驶仿真质量方面的有效性。
• 行为特征的量化差异：模型成功捕捉并再现了激进与保守驾驶风格在速度和加速度上的显著差异，验证了风格条件化的有效性。

意义与影响

PersonaDrive 的提出对自动驾驶仿真领域具有重要的理论和实践意义：

1. 提升仿真环境的真实性和多样性：传统的仿真智能体行为单一，难以覆盖长尾场景。PersonaDrive 通过引入人类风格的多样性，能够生成更贴近真实交通流的非 ego 行为，从而为自动驾驶算法提供更全面、更具挑战性的测试环境。
2. 推动 VLA 模型在自动驾驶中的应用：该研究展示了 VLA 模型在结合检索增强技术后，能够有效学习并复现复杂的人类驾驶行为，为未来基于大模型的自动驾驶决策系统提供了新的技术路径。
3. 降低仿真数据构建成本：通过检索增强和单一骨干网络的多风格适应，PersonaDrive 减少了对大规模特定风格数据重新训练的需求，提高了仿真智能体构建的效率。
4. 促进人机交互与信任研究：具有人类风格的仿真智能体有助于研究自动驾驶车辆与人类驾驶员之间的交互行为，对于提升自动驾驶系统在人机共驾场景下的安全性和可接受性具有参考价值。

总之，PersonaDrive 通过创新性地结合人类风格数据、检索增强技术和 VLA 模型，为构建高保真、多样化的闭环驾驶仿真环境提供了强有力的解决方案，有望推动自动驾驶技术向更安全、更智能的方向发展。