黑盒评估框架用于LLM生成设计结构矩阵

背景

设计结构矩阵（Design Structure Matrix, DSM）是系统工程中广泛使用的建模工具，用于表示系统组件之间的依赖关系。随着大语言模型（LLM）的发展，研究者开始探索利用 LLM 从结构化技术文档自动生成 DSM（即 Auto-DSM 管道），以提高系统建模效率。然而，当前大多数 Auto-DSM 实现是闭源的，缺乏统一的评估手段来衡量生成 DSM 的质量、稳定性和可靠性。现有评估往往依赖人工审查或特定任务下的定性判断，难以在不同系统、不同提示配置下进行标准化对比。因此，亟需一个透明、可复现的黑盒评估框架，既能诊断 LLM 在 DSM 生成任务中的表现，也能为后续将 LLM 集成到基于模型的系统工程（MBSE）工作流中提供基准。

核心内容

该论文提出了一套黑盒评估框架，旨在系统性地评估 LLM 从结构化技术文档生成 DSM 的能力。框架的核心思路是将生成的 DSM（记为 GEN-DSM）与人工验证的真实矩阵（GT-DSM）进行对比，通过多维度指标量化差异。评估从单次运行和多次运行两个视角展开，涵盖结构、分类和稳定性三大类指标：

• 结构指标：包括 Completeness（完整性，衡量 GEN-DSM 是否覆盖 GT-DSM 中的所有依赖关系）、Correctness（正确性，衡量 GEN-DSM 中正确识别的依赖比例）和 Coupling Density（耦合密度，反映矩阵中非对角元连线密度的匹配程度）。
• 分类指标：考虑到模型可能因不确定而选择“弃权”（即不输出依赖关系），引入 Selective Accuracy（选择性准确率，仅在模型输出断言时的准确率）和 Abstention Coverage（弃权覆盖率，模型选择弃权的依赖占全部依赖的比例），以区分模型由于知识不足导致的“幻觉”与审慎弃权。
• 稳定性指标：通过多次重复运行，计算输出矩阵的 Entropy（熵，度量生成结果的离散程度）和 Fleiss' κ（用于评估多次生成结果之间的一致性），从而刻画模型对同一输入在不同执行下的可重复性。

为了综合上述多方面表现，论文提出了 Composite Quality Score (Q)，将结构、分类和稳定性维度的分数融合为一个总评分，便于不同配置下的横向比较。

实验在两个数据集上进行：一个虚构抽象系统（用于控制变量，测试 LLM 对基本依赖逻辑的理解）和一个真实的冰箱分解系统（反映实际工程文档的复杂度）。实验还变化了提示措辞（phrasing）、参数-数据集对齐程度（即输入参数是否与目标系统的术语一致）以及系统复杂性。结果揭示：

• LLM 能够生成结构上合理的 DSM，在输入结构良好、措辞清晰时，多次运行间的可重复性高（高 Fleiss' κ、低熵）。
• 但模型对歧义表述非常敏感：当文档中的依赖定义不一致或存在模糊描述时，容易产生幻觉（错误推断依赖）或过度弃权。
• 提示措辞的微小变化（如不同动词表达“依赖”）会显著影响分类指标，尤其是选择性准确率。
• 在更复杂的数据集（冰箱系统）上，模型在耦合密度和完整性上的表现下降更为明显，表明复杂度加剧了 LLM 对上下文理解的局限性。

论文进一步分析发现，幻觉主要源于系统边界定义不清、术语同义复用以及在未明确指定方向时模型对双向依赖的默认假设；弃权失败则多出现在模型对不确定性估计不足时。这些系统性缺陷为设计更鲁棒的 Auto-DSM 管道提供了改进方向。

关键要点

• 提出首个专注于 LLM 生成 DSM 的黑盒评估框架，包含单次/多次运行、结构、分类和稳定性四个维度。
• 核心指标：Completeness、Correctness、Coupling Density；Selective Accuracy、Abstention Coverage；Entropy、Fleiss' κ；以及 Composite Quality Score (Q)。
• 实验涵盖虚构和真实系统，验证了框架对提示措辞、参数对齐和系统复杂度的敏感性。
• LLM 在结构化输入下可达到较高可重复性，但面对真实工程文档中的歧义和不一致时表现不稳定，系统性幻觉和弃权失败常源于边界定义模糊和依赖方向误判。
• 框架提供了公开、可复现的基准，可用于审计现有 Auto-DSM 管道的质量，并为 LLM 在 MBSE 中的集成提供可靠性度量依据。

意义与影响

该工作填补了 LLM 驱动 DSM 自动化领域缺乏标准化评估的空白。通过一套可复现的指标体系和实验设计，研究者可以系统诊断 LLM 在不同输入条件下的优势与短板，从而指导提示工程、数据预处理或后处理修正策略的优化。对于 MBSE 社区而言，该框架为将 LLM 作为辅助建模工具引入工程流程提供了安全评估手段——工程师可以量化模型的不确定性，在关键依赖上强制人工复核。此外，Composite Quality Score 的引入使得不同模型、不同配置的横向对比成为可能，有助于推动更可靠、更透明的 Auto-DSM 管道建设。长远来看，该评估框架还可扩展至其他结构化知识图谱生成任务（如接口图、因果图），为 LLM 在系统建模领域的应用研究奠定基础。