TopoExplore引入拓扑区分，加速存档探索

背景

基于存档的探索方法（如 Go‑Explore）通过访问稀有度来选择返回哪个已访问状态，而前沿方法（frontier methods）则选择返回未知区域的边界。然而，这两类方法都没有追问：边界背后的未探索区域是否真的可以进入。探索并不仅仅是为了找到奖励——更是为了收集结构完整的体验，供后续的学习和规划使用。现有方法在面对封闭结构（如带门房间、不可达空洞）时，会浪费大量采样去反复尝试不可进入的区域，或者在可进入但已探索过的区域重复随机游走。

核心内容

TopoExplore 在 Go‑Explore 的细胞选择基础上，增加了一个周期性的拓扑检查步骤：对已访问集合占据网格执行洪水填充（flood fill），检测出其中未探索的封闭区域（即空洞，voids，对应于其立方复形中的 H1 类）。然后，只在这些空洞的严格入口（缝隙或门细胞）上施加一个逐步衰减的选择奖励；密封区域永远不会成为目标，而已进入的区域则被标记为“退休”，不再获得额外奖励。

在受控的 18 个 MiniGrid 环境套件上进行对比实验（15 个随机种子、冻结超参数），TopoExplore 的中位数首次进入步数相比其精确的 Go‑Explore 消融取得了 1.52× 的几何平均加速，而前沿基线为 1.37×。当环境中出现密封诱饵结构时，前沿探索的性能会下降（诱饵环境下 0.83–1.48×），而 TopoExplore 仍保持 1.65–2.11× 的加速。在涉及多步交互的硬门上，TopoExplore 的优势最为显著，达到 10.9×。

论文诚实地报告了在 Montezuma’s Revenge 上的负面结果：缺乏墙壁知识的情况下，不可达的占据伪影会捕获奖励，导致性能随伪影增长而退化，这隔离出墙壁感知入口测试是该方法最关键的承重组件。在 HM3D 扫描建筑上的初步正面结果则显示，即使前沿选择在整体覆盖中占主导，TopoExplore 相对于 Go‑Explore 的加速与场景复杂度呈正相关（r=0.69）。

关键要点

• 核心思想：将拓扑洞察（检测空洞及其入口）注入存档选择过程，避免在不可进或已进的区域浪费探索资源。
• 技术手段：周期性地对已访问占据网格做洪水填充，识别封闭空洞的 H1 类，仅在空洞的严格入口处施加衰减奖励，密封区域永不入选，已进入区域自动退休。
• 实验优势：在 MiniGrid 套件上，TopoExplore 相比 Go‑Explore 和前沿方法均取得加速，尤其在包含多步交互门的场景中提升 10.9×。
• 失败案例：在没有墙壁知识的 Montezuma’s Revenge 上，不可达占据伪影会误导奖励分配，导致性能下降，证明墙壁感知的入口测试是方法的必要组件。
• 扩展验证：在真实 3D 扫描建筑（HM3D）上，TopoExplore 的加速与场景难度显著相关，表明拓扑意识在复杂开放环境中同样有效，即使被前沿方法主导时也表现出竞争力。
• 适用范围：论文明确限定其主张：拓扑感知选择在需要区分封闭结构时带来显著收益，而在开放覆盖（前沿方法最强）的区域也能保持竞争力，尽管算法并未针对该场景进行调优。

意义与影响

TopoExplore 首次将代数拓扑（立方复形的 H1 类）与存档探索结合，提出了一种轻量级的判别机制。它表明，探索算法不应仅依赖访问频次或边界距离，还需要理解环境的空间拓扑结构——哪些区域是“可以进入的”，哪些是“已经被填满”的。这项工作为后续的探索研究提供了一条新路：在探索过程中注入结构知识（如空洞检测、入口识别），可以在不增加大量计算开销的情况下显著提升效率。它对 Montezuma’s Revenge 失败案例的诚实记录也提醒社区，任何机制都需要考虑环境先验（如墙壁知识）的缺失影响。将开源代码与论文一同发布的预期，使其成为强化学习和机器人探索领域一个值得关注的基线贡献。