How Can AI Find My Model? A Model-Finding Experimental Study Considering Data Formats, Embeddings, and Retrieval Strategies

背景

在建模与仿真（Modeling and Simulation, M&S）领域，随着仿真模型的数量和复杂性不断增长，如何从海量模型中精准发现并复用符合特定需求的模型，已成为一项基础性难题。传统的模型发现方法往往依赖于关键词匹配或结构化元数据，难以捕捉模型背后的深层语义以及用户的真实建模意图。当大量模型共存时，这种语义鸿沟使得模型检索变得异常困难。近年来，人工智能技术的飞速发展，特别是基于语义的检索方法，为在语义层解决这一问题提供了新的可能性。

核心内容

本文题为《How Can AI Find My Model? A Model-Finding Experimental Study Considering Data Formats, Embeddings, and Retrieval Strategies》，针对仿真模型发现这一痛点，开展了一项细致的实验研究。研究聚焦于三个核心维度：数据表示、基于 Transformer 的 Embedding 模型以及检索策略，探究它们如何影响基于自然语言查询的仿真模型发现效果。

研究团队使用标准信息检索指标——包括 recall@5 和 nDCG@5，在多种查询类型上对系统性能进行了全面评估。实验结果得出了三个重要结论：首先，数据表示方式对检索结果具有显著影响，如何格式化与表达模型数据至关重要；其次，开源的 Embedding 模型在语义理解上表现出色，能够达到极高的检索性能，这降低了对专有闭源模型的依赖；最后，Reranking（重排序）方法在模型发现流程中扮演着关键角色，尤其是在面对复杂度较高的自然语言查询时，Reranking 能够有效提升检索精度。

该研究不仅验证了基于 AI 的检索方法在仿真模型发现中的有效性，更为该领域确立了一个 AI 驱动的模型发现基线。同时，文章探讨了这一技术路径在推动仿真模型向 AI 驱动的互操作性和可组合性演进过程中的重要作用。

关键要点

• 数据表示至关重要：实验证明，仿真模型的数据格式和表示方式直接影响检索系统的性能，选择合适的数据表示是构建高效模型发现系统的基础。
• 开源 Embedding 模型表现优异：基于 Transformer 的开源 Embedding 模型在语义特征提取上极具竞争力，能够以高性能实现自然语言查询与仿真模型的语义匹配。
• Reranking 提升复杂查询精度：随着自然语言查询复杂度的增加，引入 Reranking 策略对于优化检索结果排序、提升召回率具有不可替代的作用。
• 确立 AI 驱动的检索基线：研究采用 recall@5 和 nDCG@5 等指标进行多维度评估，为未来 AI 驱动的仿真模型发现研究提供了可对照的性能基准。

意义与影响

本文