CausalDS新基准测试数据科学智能体因果推理

背景

随着大语言模型（LLM）能力的快速提升，它们越来越多地作为集成化的数据科学代理（data-science agent）被使用——这类代理不仅需要执行抽象的因果推理，还要调用多种工具完成实际数据分析任务。然而，现有的相关基准评估存在明显的分裂：一方面，符号因果推理基准（如因果结构学习、干预推断等）往往不包含真实的数据分析场景，样本多为人工构造的简单案例；另一方面，数据科学基准（如代码生成、数据分析任务）通常缺乏有原则的因果数据生成结构，无法系统性地评估代理对因果关系的理解。

此外，现有的因果评估数据集大多受限于从已有文献中挑选的示例，其多样性仅来自有限的模板化变体，而非通过系统生成新颖的合成因果结构来获得。这种局限性使得模型容易陷入“因果鹦鹉”（causal parrot）困境——只是记忆了常见因果模式，而无法泛化到未见过的因果场景。针对这些不足，该研究提出了 CausalDS，一个专门用于评估数据科学工作流中因果推理能力的综合基准。

核心内容

CausalDS 的每个基准实例（instance）是一个“场景”（scene），由以下三个核心组件构成：

1. 结构因果模型（SCM）：通过采样生成一个包含变量、因果关系和结构方程的有向无环图。该 SCM 定义了变量间的真实因果机制，并用于生成观测数据。
2. 观测数据：基于 SCM 生成的数据集。为保证真实感，数据生成过程引入了“观测模型”（observation model），使得数据中可能包含不完美观测（如测量误差、缺失值、部分混淆变量不可观测等），增加了任务的难度。
3. 自然语言故事：一段与上述 SCM 和数据分布相匹配的合成故事，被嵌入一个真实世界领域（如医疗、经济学、制造业等）。故事描述了情境、变量含义以及需要回答的问题，使得任务对 LLM 而言更加贴近实际应用。

为了进一步减少“因果鹦鹉”风险，基准允许将场景中 SCM 的分布结构锚定（ground）到真实世界数据集的实证分布上。这样既保留了实证数据的统计特性（如变量分布、相关性模式），又通过完全合成的因果结构保证了新颖性，阻止模型依赖预训练中见过的因果模式。

每个场景衍生出覆盖 Pearl 三阶梯（Pearl’s Causal Hierarchy）全部三个层次的因果推理任务：

• 阶梯1（关联）：典型的预测任务，如根据特征预测目标变量、数据探索、特征筛选等。
• 阶梯2（干预）：要求模型推断在给定干预下的结果分布（如“如果强制所有患者服用药物X，平均血压会如何变化？”）。
• 阶梯3（反事实）：考察对反事实情景的推理（如“如果该患者当时服用了Y药，他的实际结局会如何不同？”）。

大多数任务都包含数据科学编码组件。模型需要利用多种工具（如 Pandas、NumPy、SciPy、因果推断库等）编写代码，执行数据预处理、因果估计、敏感性分析等步骤，最终给出答案。由于数据中存在不完美观测，模型必须识别并处理观测偏差、混淆等问题，不能仅凭简单统计得到答案。

一个重要的设计是：CausalDS 将“识别出问题没有合理答案并选择弃权（abstain）”视为一种一等评分结果。这意味着模型不仅要给出因果推断，还要有能力判断何时因果效应不可识别、缺乏充分证据或存在不可控的混淆，从而主动放弃作答——这在现实数据科学中至关重要。

因此，CausalDS 联合评估了五个关键能力：

• 符号因果推理（理解因果图、干预、反事实）
• 数据科学素养（数据处理、统计建模）
• 不确定性量化（识别不可识别性、效应不确定性）
• 弃权决策（何时拒绝回答）
• 工具使用与代码编写（调用适当的库和方法）

关键要点

• 问题定位：现有基准将符号因果推理与真实数据分析割裂，CausalDS 将二者结合，在真实数据分析场景中系统评估因果推理。
• 场景生成：每个实例基于随机采样的结构因果模型（SCM）生成观测数据，并搭配合成但贴近现实的自然语言故事，确保因果结构新颖且多样。
• 实证锚定（optional grounding）：可选用真实数据集的分布特性来约束 SCM 的参数，保留真实统计模式的同时避免模型利用预训练记忆。
• 任务覆盖 Pearl 三阶梯：从关联预测（Rung 1）到干预（Rung 2）再到反事实（Rung 3），全面考察因果推理层次。
• 不完美观测：通过观测模型引入测量误差、缺失值等，迫使模型在数据处理和因果估计中处理现实噪声。
• 弃权作为正式能力：将“无法回答时主动放弃”作为评分项，强调谨慎决策的重要性。
• 评估维度多元：同时涵盖因果推理、数据科学、不确定量化、放弃决策和工具使用/编码，反映真实数据科学代理的综合能力。

意义与影响

CausalDS 的提出填补了LLM作为数据科学代理中因果推理评估的空白。现实世界的数据科学工作流要求代理不仅能够执行标准的数据分析和机器学习，还要具备因果思维——区分相关性、干预和反事实，并能处理不完美数据和不确定性。该基准迫使模型走出“模式匹配”的舒适区，转向真正的因果理解。

从方法论上看，CausalDS 的合成生成+实证锚定策略为构建高多样性、低泄露的基准提供了新范式。它避免了现有数据集的人工筛选和模板化局限，使得评估结果更具泛化性。同时，将弃权作为一等评分项，也呼应了实际应用中“知道不知道”比“错误推断”更可取的理念。

对于研究者而言，CausalDS 为后续工作提供了标准化的测试平台，可以推动以下方向的发展：

• 因果推理能力的可评测进步
• 数据科学代理中工具与因果推理的协同设计
• 不确定性感知的LLM推理
• 能够主动承认局限性的负责任AI系统

尽管该基准目前仅是一项 arXiv 预印本研究（提交于2026年7月），但其设计理念和实验框架有望成为未来LLM评估的重要参考。随着LLM越来越多地渗透到数据科学工作中，类似 CausalDS 的基准将帮助开发者确保模型不仅仅是“统计鹦鹉”，而是有能力进行可靠因果推理的智能代理。