AI辅助辐射输运输入生成基准PHITSBench发布
速览
PHITSBench是一个执行评分基准，包含282个辐射输运任务，覆盖参数编辑、语法修复和自然语言生成三大类。在无领域知识时，GPT-5.4在编辑和修复任务上表现良好，但生成任务完全失败。引入结构化知识目录后，生成任务成功率升至57%，代理执行进一步提升至66-73%。错误主要源于物理可观测量的选择配置，而非语法生成，表明未来进步依赖知识基、领域数据集和落地评估环境。
AI 深度解读
背景
粒子输运模拟是核工程、辐射防护、医学物理等领域的关键工具。Monte Carlo Particle and Heavy Ion Transport Code System（PHITS）是广泛使用的开源辐射输运模拟软件，其输入文件编写复杂，需要用户精通物理参数与语法规则。随着大语言模型（LLM）在代码生成任务上的突破，探索用自然语言直接驱动PHITS输入生成成为可能。然而，缺乏一个可自动执行评分、覆盖多类任务的标准化基准，使得对该领域AI辅助工具能力的评估变得困难。
核心内容
论文提出 PHITSBench，一个针对 AI 辅助 PHITS 辐射输运输入生成的执行评分基准。PHITSBench 包含 282 个 可输运评分的任务，划分至三个常见工作流类别：
- 参数编辑（Edit）：对已有输入文件进行指定参数修改（如改变几何尺寸、材料或源项）；
- 语法修复（Repair）：修正故意引入的语法错误，使输入文件可正常执行；
- 从自然语言描述生成完整模拟（Reproduce）：仅凭一段自然语言描述，从头生成正确的PHITS输入文件。
每个任务使用 复合指标评分（Composite Metric Score） 进行评估：同时考察输入文件是否能成功执行（执行成功），以及生成结果与参考结果在输运观测量（如通量、剂量分布）上的一致性。
利用 PHITSBench，作者评估了 五种基于 GPT-5.4 的配置，从零样本提示（zero-shot）到知识增强和代理流程（agentic workflow）。主要发现：
- 在参数编辑和语法修复任务上，零样本模型表现出色（编辑成功率95%，修复成功率70%），但在从头生成完整模拟（Reproduce）上完全失败（成功率为0%）。
- 当提供一个结构化的、机器可读的 PHITS 知识目录（配合用户手册）后，单次提示的 Reproduce 任务成功率提升至 57%。
- 采用代理执行流程（agentic execution，模型可多次调用工具、尝试执行并迭代）后，成功率进一步升至 66%–73%，但计算成本显著增加。
- 失败分析 显示，剩余错误主要源于物理观测量的选择与配置错误，而非语法生成的错误。即模型在理解“应该测量什么、如何设置”上存在瓶颈，而非写不出合法的 PHITS 语法。
关键要点
- PHITSBench 是首个针对 PHITS 辐射输运输入生成的可执行评分基准，包含282个任务，覆盖编辑、修复、从头生成三种典型工作流。
- 评估使用复合指标，同时衡量执行成功与物理结果一致性，比单纯语法正确性更全面。
- 纯零样本 GPT-5.4 在编辑和修复任务上表现良好，但在从头生成复杂模拟上完全失败（0%），说明仅靠基座模型无法胜任需要领域知识的任务。
- 引入机器可读的 PHITS 知识目录（结构化知识库）可将从头生成成功率提升至57%，说明结构化领域知识对 AI 辅助模拟至关重要。
- 代理流程（agentic execution）可进一步将成功率提升至 66–73%，但带来更高的计算开销，且仍存在约 30% 的失败率。
- 失败原因主要为物理观测量选择与配置错误（而非语法错误），表明当前模型在理解物理现象、正确指定观测内容方面存在短板。
- 研究结论：未来 AI 辅助辐射输运建模的进步将同样依赖于机器可读知识库、领域训练数据集和执行基础的评估环境，而不只是基础模型的改进。
意义与影响
PHITSBench 的提出为 AI 辅助科学计算代码生成领域树立了一个实用且可复现的评估标准。其核心贡献在于：
- 从“语法正确”到“物理正确”：传统代码生成基准（如 HumanEval）仅检查输出是否通过编译/运行，而 PHITSBench 要求生成的输入文件能产生与参考一致的物理结果，更贴近实际工程与科研需求。
- 揭示知识瓶颈：实验明确展示，即使是最先进的语言模型（GPT-5.4），在缺少结构化领域知识时也无法完成从自然语言到复杂模拟的端到端生成。这为后续研究指明了方向：构建机器可读的物理知识库、设计可执行反馈的代理系统，重要性不亚于模型规模扩展。
- 为安全关键应用提供参考：辐射输运模拟在核安全、医疗剂量计算中属于高保真度需求场景。PHITSBench 的失败分析警示，AI 生成的模拟文件必须经过严格物理验证，不能盲目信任，尤其是观测量配置这类易错环节。
- 推动开源社区发展：基准代码、知识目录与评估流程的公开（预计随论文发布），将吸引更多研究者参与 PHITS 及相关 Monte Carlo 程序的 AI 自动化，加速领域知识数字化与工具链建设。
总体而言，PHITSBench 不仅是一个基准，更是一种方法论示范：将执行结果与物理观测量对齐，暴露模型在科学计算中的真实能力与局限，为未来 AI 辅助科学模拟的实用化铺平道路。