校准优先奖励组件审计方法提升温室强化学习控制可靠性
速览
该论文提出一种校准优先的奖励组件审计框架，用于智能温室强化学习控制。框架将标量奖励分解为温度、CO2、湿度等条件项，并适配GreenLight环境至第二届自主温室挑战赛的日志数据。它使控制工程师能明确知道策略何时加热、通风等行为，显著提升强化学习控制的可解释性与可信度。同时框架具备可复现性，便于在模拟训练、设施部署和比赛记录间进行公平比较。
AI 深度解读
背景
强化学习在智能温室控制中展现出巨大潜力，它能够以远超实地作物实验的速度和规模测试气候调控策略。然而，单一的奖励信号（scalar return）对于温室种植者或控制工程师而言远远不够——他们需要知道策略在何时加热、增补CO₂、通风、调节湿度、启用遮阳幕，或执行其他具体动作。更关键的是，不同来源的奖励（如训练阶段、模拟器适配、实际日志数据）之间难以直接对比，导致策略的可解释性和可审计性不足。现有方法缺乏一个系统化的框架来分解、标定和比较温室控制中的各个奖励分量。
核心内容
本文提出一个可复现的、标定优先的奖励审计框架（calibration-first reward audit framework），其核心目标是将温室控制中的各个命名奖励分量（reward components）在不同来源之间保持可比性：包括模拟器训练（simulator training）、温室设施适配的 rollout（facility-adapted rollouts）、记录在案的Autonomous Greenhouse Challenge日志，以及执行器规则的蒸馏（actuator-rule distillation）。
该框架基于GreenLight-Gym模拟环境实现。具体工作流程为：
- 分解标量奖励：将单一的标量奖励分解为多个有明确物理含义的条件分量（conditional terms）：温度、CO₂、湿度与蒸气压力亏缺（vapor-pressure-deficit, VPD）、遮阳幕（screen）、以及执行代理（actuation-proxy）项。
- 适配GreenLight模拟器：将GreenLight模拟器校准适配至第二届Autonomous Greenhouse Challenge记录的温室气候轨迹（logged climate traces），使得模拟环境能基于真实历史数据进行 rollout。
- 跨数据源评分：使用相同的奖励分量定义，在记录的温室数据（logged greenhouse data）上对同一组分量进行评分，从而实现在模拟与实际日志之间的直接对比。
整个框架强调标定优先（Calibration-First），即在审计之前先对齐不同数据源的奖励函数定义和参数，确保比较的公平性和一致性。
关键要点
- 问题定位：单一奖励值无法解释温室RL策略的具体动作，需要分解奖励分量才能满足实际审计需求。
- 核心创新：提出标定优先的奖励审计方法，让不同来源（模拟训练、设施适配、比赛日志、规则蒸馏）的奖励分量具有可比性。
- 具体分解：在GreenLight-Gym中，标量奖励被分解为温度、CO₂、湿度与VPD、遮阳幕、执行代理等五个可独立审计的项。
- 历史数据适配：将GreenLight模拟器适配至第二届Autonomous Greenhouse Challenge的日志数据，使模拟环境更贴近真实工况。
- 可复现性：框架设计强调可复现性（reproducible），并公开了代码与数据关联（如arXiv页面的Code, Data and Media associated with this Article部分提供了alphaXiv, DagsHub, Hugging Face等资源链接）。
- 通用性：该框架不仅适用于GreenLight-Gym，还可以推广到其他温室控制模拟器和实际部署场景，作为奖励审计的标准流程。
意义与影响
- 提升透明性与可解释性：通过分解奖励分量，种植者和控制工程师可以直观地看到策略在哪些方面（温度、湿度、CO₂等）表现良好或欠佳，从而进行针对性调整。
- 弥合模拟与现实的鸿沟：标定优先的跨数据源对比方法，使得研究者能在模拟阶段就预见策略在实际设施中的行为，降低部署风险。
- 推动温室RL研究标准化：该框架为温室控制领域的强化学习奖励函数设计提供了可复用的审计范式，有助于后续比赛（如Autonomous Greenhouse Challenge）和学术研究的结果互比。
- 促进工具链整合：论文所附代码与数据资源（如Hugging Face、DagsHub）使得其他研究团队可以直接复现并扩展该框架，加速领域进展。
- 潜在扩展性：未来可将该审计方法应用到更复杂的温室多目标优化或分层控制策略中，甚至扩展到其他农业控制场景（如垂直农场、畜牧环境调控）。