When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

背景

在任务导向对话（Task-Oriented Dialogue）系统中，大语言模型（LLM）常被用作核心对话智能体。这类系统通常依赖后端数据库来获取真实信息（如餐厅预订、票务查询等）。然而，真实的系统运行环境并不总是完美的：数据库调用可能失败、返回空结果，或者检索到错误领域的无关信息。当遇到这些异常状态时，当前的LLM智能体往往无法妥善处理，容易产生“流畅但不安全”的回复——即产生幻觉，向用户编造不存在的场地、确认信息或预订详情。这种幻觉不仅会误导用户，在严肃的垂直领域（如医疗、金融）还可能带来严重后果。如何在不需要重新训练模型、不增加额外模型调用成本的前提下，提升LLM在数据库异常时的安全恢复能力，是该领域亟待解决的工程与学术问题。

核心内容

本文针对任务导向对话中因数据库异常导致的LLM幻觉问题，提出了一种轻量级的基于提示的恢复方法。研究的核心在于不重新训练模型、不增加额外模型调用，仅通过优化提示