LifeSentence：利用语言模型从纵向面板数据中编码人类生命历程轨迹

背景

预测人类的生活结果（如寿命、健康状况、社会地位等）对于理解个体如何获得长寿且健康的生活至关重要。然而，传统的统计方法在准确性上存在局限，这可能是因为它们忽略了生命历程的序列结构。另一方面，现代深度学习方法（如基于 Transformer 的架构）虽然强大，但通常需要大规模的训练数据，而大多数纵向面板研究（Longitudinal Panel Studies）并不具备这样的数据规模。

纵向面板数据是指对同一组个体在多个时间点上进行重复观察所收集的数据，能够捕捉个体随时间变化的轨迹。如何有效地利用这种具有时间序列特征的小规模高质量数据，同时结合大语言模型（LLM）强大的分布知识，一直是该领域的挑战。

核心内容

本文介绍了一种名为 LifeSentence 的新模型，旨在弥合大语言模型与纵向面板数据之间的鸿沟。该模型专门用于生命历程推理（Life-course reasoning），其核心创新在于将每个生活事件表示为结构化的自然语言记录，并对一个预训练的 240 亿参数语言模型进行指令微调。

数据与方法

• 数据来源：研究使用了来自德国社会经济面板（German Socio-Economic Panel, SOEP）的数据，涵盖了约 65,000 名个体。
• 数据规模对比：这一训练规模远小于以往基于 Transformer 的方法（约为前者的 1/45），展示了在数据稀缺情况下的高效性。
• 任务体系：模型在一个包含 18 个任务的评估分类体系上进行了指令微调，涵盖了预测、鲁棒性和推理三大类任务。
• 知识融合：LifeSentence 通过结构化自然语言表示，将面板数据与预训练阶段已编码的分布知识相结合，从而补充了有限面板数据的不足。

性能表现

LifeSentence 在所有任务家族中均优于经典统计基线和深度学习基线：

1. 联合事件与时间预测：相比最佳基线模型，实现了三倍的性能提升。
2. 时间顺序重建：在从去除时间戳的事件集合中重建时间顺序时，Kendall's tau 系数达到 91.2%。
3. 社会分层模式的自发现：无需显式监督，模型仅从离散的事件序列中就能恢复出文档记录的社会分层模式，包括：
   • 教育溢价（Education premium）
   • 性别工资差距（Gender wage gap）
   • 母职惩罚（Motherhood penalty）

功能与应用

LifeSentence 提供了一个自然语言接口，使得定性研究成为可能。研究人员可以提出新颖的查询，例如“将早期生活历史与特定的晚年结局联系起来”。这使得 LifeSentence 不仅是一个预测工具，更是一个用于探索人类传记反事实情景（Counterfactual exploration）的探针。

关键要点

• 模型名称：LifeSentence，一种专为生命历程推理设计的大语言模型应用。
• 核心机制：将纵向面板数据中的生活事件转化为结构化自然语言记录，并利用预训练 LLM 的通用知识进行增强。
• 数据效率：仅需约 65,000 名个体的数据（来自 SOEP 面板），即比传统 Transformer 方法少约 45 倍的数据量，即可实现卓越性能。
• 评估体系：基于 18 个任务的分类体系，涵盖预测准确性、鲁棒性及推理能力。
• 预测优势：在联合事件与时间预测任务中，性能是最佳基线模型的三倍。
• 无监督洞察：模型能够自动从事件序列中识别出复杂的社会学现象，如教育回报、性别不平等和母职对职业发展的负面影响，无需人工标注标签。
• 交互能力：支持自然语言查询，允许研究者进行反事实分析（例如：如果某人在早期生活中做了不同选择，晚年结果会如何？）。

意义与影响

LifeSentence 的提出标志着社会科学与人工智能交叉领域的一个重要进展。

首先，它解决了纵向面板研究中数据规模小但信息密度高的痛点。通过引入大语言模型的结构化推理能力，LifeSentence 证明了即使在小样本情况下，结合预训练知识的微调也能超越传统统计方法和需要海量数据的深度学习模型。

其次，该模型不仅提升了预测精度，还打开了“可解释性”和“探索性分析”的新窗口。传统统计模型往往只能给出相关性或预测值，而 LifeSentence 能够以自然语言的形式揭示生命轨迹背后的逻辑，并自动发现既定的社会结构模式（如性别和阶级差异）。

最后，其提供的自然语言接口为社会科学家的研究范式带来了变革。研究者不再局限于预设的假设检验，而是可以通过对话式查询，探索复杂的人生轨迹和反事实情景，从而更深入地理解人类生命历程的动态机制。