RAGthoven at SemEval-2026 Task 1: A Multi-Stage Pipeline Walks Into a Benchmark and Barely Clears the Bar

背景

SemEval-2026 Task 1（代号 MWAHAHA）是一项多语言受限幽默生成挑战，要求参赛系统在英语、西班牙语和中文三种语言中，根据给定的约束条件生成具有幽默效果的文本。Subtask A 聚焦于受控的幽默生成，对模型在遵循约束的同时产生创意性内容的能力提出了很高要求。该任务吸引了多种方法，其中 RAGthoven 系统由本论文作者团队提出，旨在探索多阶段流水线与检索增强生成（RAG）在幽默生成中的效果，并评估 agentic 架构的附加值。

核心内容

RAGthoven 将创意文本生成分解为一个多阶段大语言模型（LLM）流水线，包含四个核心阶段：Planner（规划器）、Best-of-N Writer（最佳-of-N 写手）、Reflector（反思器，用于自我批评）和 LLM-as-a-judge Judge（法官式 LLM 评判器）。整个流水线以计算幽默理论为基础，具体采用了 Benign Violation Theory（良性违规理论）和 Script-based Semantic Theory of Humor（基于脚本的幽默语义理论），并通过十次实验逐步优化配置。

在最终配置中，Planning 阶段引入了检索增强生成（RAG），从一个精心策划的笑话语料库中检索相关机制，从而为生成过程注入多样化的笑话构造模式。此外，论文还评估了两种 agentic 变体：Exp09（ReAct 风格的顺序工具调用）和 Exp10（自主多分支编排）。这两种变体暴露了相同的四个阶段，并附加了一个确定性的 ConstraintAudit 检查器。在四个前沿模型上，针对一个独立的 12 样本英语测试集，两种 agentic 变体尽管使用了显著更高的工具调用预算，但产生的输出并未被评判为优于非 agentic 流水线。

在最终评测中，RAGthoven 在三种语言上都与 Gemini 2.5 Flash 基线并列 Rank 1，且组织者报告的置信区间彼此重叠。具体而言，在西班牙语中，RAGthoven 以 1182 比 1140 的原始 Elo 分领先基线 42 分；在英语（1045 vs. 1081）和中文（1045 vs. 1053）中，基线在原始评分上略高，但两者属于同一统计平局。

这些结果共同表明，一旦使用了强大的前沿模型，精心设计的多阶段提示工程与 agentic 脚手架所带来的收益会呈现语言相关的递减趋势。

关键要点

• RAGthoven 是一个多阶段 LLM 流水线，包含 Planner、Best-of-N Writer、Reflector 和 Judge 四个阶段，基于 Benign Violation Theory 和 Script-based Semantic Theory of Humor 设计。
• 最终配置中，Planner 阶段通过 RAG 从笑话语料库中检索机制，以增强生成多样性。
• 评估了两种 agentic 变体（ReAct 风格顺序调用和自主多分支编排），但都未带来优于非 agentic 流水线的结果，尽管工具调用成本更高。
• 在 SemEval-2026 Task 1 Subtask A 中，RAGthoven 与 Gemini 2.5 Flash 基线在英语、西班牙语和中文上并列第一，置信区间重叠。
• 西班牙语中 RAGthoven 领先基线 42 Elo 分，英语和中文中基线略高但在统计上无显著差异。
• 结果提示：当使用强前沿模型时，进一步增加 prompt 工程复杂度和 agentic 架构的回报因语言而异，且呈现递减趋势。

意义与影响

该研究为多语言幽默生成任务提供了一种系统化的多阶段流水线方法，证明了结合检索增强与幽默理论提示工程的有效性。同时，它通过对比实验揭示了 agentic 架构在创意文本生成中的局限性：更高的工具调用复杂度并未带来性能提升，这表明在设计 agentic 系统时需要仔细权衡成本与收益。此外，语言之间的结果差异（西班牙语受益明显，英语和中文持平）提示，幽默生成的最佳策略可能因语言的文化和结构特征而异，未来研究应进一步探索语言特异性因素。RAGthoven 的代码和配置（如通过 arXiv 链接的 alphaXiv 等平台）为社区提供了可复现的基准，有助于推动该领域的发展。