滑动窗口强化学习解决多产品装配流水车间动态调度

背景

在多品种制造环境中，产品往往需要以套件（kitting）形式组合交付（即多产品配套交付），这对集成加工与装配的混合制造系统提出了严峻的实时调度挑战。动态订单到达会同时改变供应链依赖关系和可行的作业-机器分配集合，导致传统的静态调度方法难以应对。现有的调度规则（如最早交期优先、最短加工时间优先）虽然简单，但在复杂配套约束下无法有效优化延迟；而深度强化学习方法在处理稀疏奖励、动态动作空间和瓶颈漂移时表现有限。因此，亟需一种能够端到端地在线调度、且能适应动态配套约束的智能调度框架。

核心内容

本文提出了一种基于滑动窗口的强化学习（Sliding-Window-Based Reinforcement Learning，简称 SWRL）框架，用于解决带复杂配套约束的柔性装配流水车间调度问题（Flexible Assembly Flow Shop Scheduling Problem with Complex Kitting Constraints），实现端到端在线调度。

问题建模：将调度问题形式化为基于异构图的马尔可夫决策过程（Heterogeneous Graph-based MDP）。该模型能够捕获双层配套结构（即加工工序与装配工序之间的依赖关系）以及尾部产品瓶颈动态（Tail-Product Bottleneck Dynamics）。尾部产品瓶颈是指由于配套约束，某些产品的交付时间受制于配套集合中最后完成的产品，从而导致奖励信号极其稀疏。

SWRL 框架的核心组件：

1. 滑动窗口过滤机制：针对问题中大量不活跃的节点（如已完成的工序或尚未到达的订单），该机制通过滑动窗口动态过滤掉这些节点，优先保留与配套关键性（Kitting-Critical）相关的操作。这有效缩小了状态空间，使智能体专注于影响延迟的关键决策点。

2. 时空图编码网络：一种专门设计的图神经网络，用于跟踪连续决策状态之间的瓶颈漂移。该网络不仅编码当前时刻的空间拓扑结构（作业与机器的关系），还通过时间维度捕获瓶颈工序随订单到达和加工进度演变的动态，从而为强化学习提供更丰富、更具预测能力的状态表征。

3. 动态动作映射模块与约束等待策略：由于不同决策时刻的可行动作集可能因拓扑变化（如新订单到达或机器故障）而动态改变，该模块实时将动作空间映射到当前可行的操作上，并引入一种约束等待策略——当最佳动作因配套约束暂时不可执行时，智能体可以选择等待而非强制执行次优动作，从而避免加剧后续延迟。

实验验证：在家电制造商的真实生产实例上进行测试，结果表明：

• SWRL 在延迟指标（Tardiness）上持续优于经典调度规则（如 EDD、FIFO）以及现有的深度强化学习方法（如 DQN、DGN 等）。
• 该框架在不同资源配置、订单负载和到达集中度下均表现出稳健的性能，验证了其泛化能力和实用价值。

关键要点

• 问题创新：首次将多产品配套交付约束下的动态柔性装配流水车间调度建模为异构图的马尔可夫决策过程，显式捕捉双层配套结构与尾部产品瓶颈导致的稀疏奖励。
• 滑动窗口过滤：通过动态过滤非活跃节点，优先处理配套关键工序，有效降低状态维度并提高学习效率。
• 时空图编码：融合空间拓扑与时间演进信息，追踪瓶颈漂移，为强化学习提供细粒度的状态表征。
• 动态动作映射：自适应调整动作空间以适应可变拓扑，并配合约束等待策略避免不可行的强制决策，提升柔性和鲁棒性。
• 真实世界验证：基于家电制造实际数据，SWRL 显著减少延迟，且对不同场景（资源、负载、到达模式）具有稳定性能，优于传统规则和现有 DRL 基线。

意义与影响

从学术角度看，本文提出了一种应对复杂配套约束下动态调度问题的通用强化学习框架。滑动窗口机制为处理大规模、动态状态空间提供了可扩展的思路；时空图编码网络则将图神经网络的应用从静态场景扩展到时序演进瓶颈预测，丰富了图强化学习的理论工具。此外，动态动作映射模块的设计为处理非固定动作空间的强化学习问题提供了实用范例。

从工业实践角度看，家电制造商等离散制造行业常面临多产品配套交付的压力，延迟会直接导致产线停滞和客户满意度下降。SWRL 框架能够端到端地在线生成调度决策，无需手工设计规则，且可适应订单突变和资源变化，具备较强的实用潜力。实验结果证明了该方法的可靠性和优越性，为智能制造中的实时调度系统提供了可行的技术路径，有望推动基于强化学习的调度算法从模拟环境走向真实产线部署。