Customized Generative AI Agent for Transportation Engineering Practice: A Development and Continued Pre-training Guideline

背景

近年来，生成式人工智能（Generative AI）与大语言模型（LLM）取得了突破性进展，在自动化复杂推理、文本总结和问答等通用任务上展现出巨大潜力。然而，当这些通用模型被应用于高度专业化的工程领域时，其表现往往不尽如人意。核心原因在于，通用 LLM 缺乏对特定领域技术标准、工程术语以及领域特定语义的深度接触与理解，导致其在处理专业内容时出现偏差或幻觉。在交通工程这种对精准度和合规性要求极高的领域，通用模型的局限性尤为突出。因此，如何构建一个能够深度理解交通工程知识的定制化生成式 AI Agent，成为推动该领域智能化转型的关键挑战。

核心内容

本文针对通用 LLM 在交通工程领域表现受限的问题，提出了一套系统性的定制化生成式 AI Agent 开发与持续预训练指南。研究的核心要义如下：

首先，研究构建了一个高度专业化的精选语料库，内容涵盖美国交通手册、设计指南及监管法规文档。这些语料构成了模型领域知识的基础。

其次，在模型适配方法上，研究采用了持续预训练技术，并引入了统一的低秩适配（LoRA）框架。基于该框架，对六个当前最先进的（State-of-the-Art）LLM 进行了领域适应训练。LoRA 的应用使得在有限计算资源下对大模型