现实世界数据集中是否存在“自然实验”？一项基于因果特征选择的实证研究

背景

在自然界的许多场景中，某些事件仅影响部分个体或群体，而对其他个体没有影响。这种现象在因果推断领域被称为“隐式干预”（implicit intervention），即所谓的“自然实验”（Natural Experiments）。一个典型的例子是新冠疫情（COVID-19）：病毒对感染者的生理状态构成了干预，而未感染者则作为对照组存在。

然而，在现有的机器学习实践中，大多数数据集被视为观察性数据（Observational Data），即我们仅仅记录变量之间的相关性，而未明确区分因果结构。这就引出了一个核心问题：现有的现实世界数据集中是否天然包含了这种“自然实验”结构？如果存在，我们应如何利用它们来提升模型性能？

传统的特征选择方法往往基于统计相关性，而忽略了变量间的因果方向。如果数据中隐含了因果结构（即自然实验），通过因果发现（Causal Discovery）识别出这些结构，并据此进行特征选择，可能会比传统方法更有效地提升下游任务的性能。

核心内容

本研究旨在通过实证方法回答上述问题。研究团队提出了一种基于因果特征选择（Causal Feature Selection）的方法，以检测数据集中是否存在自然实验，并验证其是否能提升模型表现。

1. 方法论：从因果图到特征选择

研究的核心逻辑如下：

• 因果发现（Causal Discovery）：首先利用因果发现算法从数据中恢复潜在的因果图（Causal Graph）。因果图描述了变量之间的直接因果依赖关系。
• 基于因果链接的特征选择：在恢复的因果图基础上，进行特征选择。不同于传统方法，这里的选择标准基于变量与目标变量之间的因果链路，而非仅仅是统计相关性。
• 干预式 vs. 观察式处理：将数据视为“干预性数据”（Interventional Data，即包含自然实验结构）而非单纯的“观察性数据”（Observational Data）。
• 性能评估：如果下游任务（如分类或回归）在处理为干预式数据后的表现优于观察式数据，则证明该数据集确实包含了可利用的自然实验结构。

2. 验证步骤

研究分为两个主要阶段进行验证：

• 合成数据验证（Synthetic Validation）： 研究人员首先使用合成图（Synthetic Graphs）生成带有和没有自然实验结构的数据集。通过对比模型在两种数据上的表现，验证了“利用因果结构进行特征选择能提升性能”这一假设的有效性。这一步确保了方法论在已知因果真相下的可靠性。

• 现实世界数据集的实证评估（Empirical Evaluation）： 随后，研究在一个大规模的现实世界数据集套件上进行了系统性的实证评估。这些数据集涵盖了多个领域，旨在检验自然实验在真实场景中的普遍存在性及其对模型性能的实际影响。

3. 主要发现

研究结果表明：

1. 自然实验的普遍性：现实世界的数据集中确实包含自然实验结构。这意味着在许多实际应用中，数据并非完全由混杂因素（Confounding Factors）主导，而是隐含了某种形式的干预信号。
2. 性能提升：通过因果推断技术识别并利用这些自然实验结构，可以显著改善下游模型的性能。这表明，将数据视为包含因果结构的干预性数据，比单纯视为观察性数据更具优势。

关键要点

• 定义自然实验：自然实验是指影响部分个体但不影响其他个体的事件，构成了一种隐式干预（如疫情对感染者的影响）。
• 核心假设：如果将数据中的自然实验结构显式化（即视为干预性数据），并基于因果链接进行特征选择，下游任务的性能将得到提升。
• 技术路径：
  1. 使用因果发现算法恢复潜在因果图。
  2. 基于因果链接执行特征选择。
  3. 对比“干预式处理”与“观察式处理”下的模型性能。
• 验证方法：
  1. 先在合成数据（有/无自然实验结构）上验证方法论的有效性。
  2. 再在大规模现实世界数据集上进行系统性实证评估。
• 研究结论：现实世界数据集中确实存在自然实验，且利用因果推断技术挖掘这些结构可以有效提升机器学习模型的性能。
• 研究定位：这是该领域的初步探索（Initial Foray），在有限范围内提供了初步证据，为后续更深入的因果机器学习研究奠定了基础。

意义与影响

这项研究在因果机器学习（Causal Machine Learning）领域具有重要的探索意义：

1. 挑战传统假设：传统机器学习往往假设数据是独立同分布（i.i.d.）的观察性数据，忽略了潜在的因果结构。本研究证明，现实数据中隐含的因果结构（自然实验）是真实存在的，且被现有方法所忽视。
2. 提升模型鲁棒性：通过利用自然实验进行特征选择，模型可能学习到更稳定、更具泛化能力的特征表示，从而减少对虚假相关（Spurious Correlations）的依赖，提高模型在分布外（Out-of-Distribution）场景下的鲁棒性。
3. 方法论贡献：提出了一套从因果发现到特征选择再到性能评估的完整流程，为后续研究如何检测和利用数据中的自然实验提供了可复现的框架。
4. 应用潜力：在医疗、经济学、社会科学等高度依赖因果推断的领域，这一发现意味着现有的历史数据中可能蕴藏着未被充分利用的因果信息，通过适当的方法挖掘，可以显著提升预测和决策的质量。

尽管本研究承认其范围有限，属于初步探索，但它为理解现实世界数据中的因果结构打开了新的视角，强调了因果推断在提升机器学习性能方面的潜在价值。