跨调查转移评估：LLM模拟受访者准确率52%
速览
硅采样利用大语言模型模拟调查受访者，但传统评估只做分布比较。本文提出跨调查转移框架，要求LLM根据部分回答预测另一部分回答，从而评估个体级预测能力。使用TEDS 2024数据和三个开源LLM，零样本准确率达52%，仅比监督随机森林低6个百分点。研究还发现预测可解释性存在层级差异（党派态度67%，主权23%），且方差塌缩和安全对齐效应比以往报告更复杂。该工作明确了硅采样的潜力和局限性。
AI 深度解读
背景
传统调查研究中，招募大量真实受访者成本高昂、耗时长，且难以覆盖特定人群。近年来，大型语言模型（LLM）被用作“硅采样”（Silicon Sampling）工具，即让 LLM 模拟人类受访者回答问卷，以低成本扩充调查数据。然而，现有对硅采样效果的评估多依赖群体层面的分布比较（如对比 LLM 生成答案的整体分布是否与真实调查相似），这种做法可能将模式匹配与真正的个体层面预测混淆——即 LLM 可能只是在宏观上“看起来像”，但未必能准确预测单个受访者的具体回答。针对这一不足，本文提出一种更严格的评估框架：交叉调查迁移（Cross-Survey Transfer）。
核心内容
本文旨在检验 LLM 能否在个体层面预测人类受访者的回答。作者设计了一个交叉调查迁移任务：给定一名真实受访者在某组问题上的答案，要求 LLM 预测该受访者在同一调查中另一个完全不同的问题集上的答案。这种设置迫使模型必须理解受访者的内在倾向（如政治立场、价值观），而非仅依靠问题间的表面相关性。
研究使用了 台湾选举与民主化研究（TEDS）2024 的实地调查数据，包含完整的个体层面的问卷回答。共采用三个开源 LLM（参数量从 27B 到 120B），并在零样本（zero-shot）条件下进行预测。作为对比基线，作者使用监督式机器学习方法（随机森林）在相同群体的数据上训练并预测。
主要发现如下：
- 零样本 LLM 对真正未见过的题目达到 52% 的准确率，与在同一群体数据上训练的监督式随机森林相比，差距仅约 6 个百分点（pp）。这表明即便没有针对特定任务的微调，LLM 也能在一定程度上通过问题间的响应模式推断个体特征。
- 存在稳定的构念可预测性层级。不同话题的预测准确率差异显著：政党态度（partisan attitudes）的准确率最高，达 67%；而主权（sovereignty）相关的题目准确率最低，仅 23%。反映出 LLM 对某些政治敏感或抽象概念的理解仍较弱。
- 方差坍缩（variance collapse）与安全对齐（safety alignment）效应比以往报告更为复杂。方差坍缩（模型生成答案的多样性不足）现象同样出现在监督式机器学习模型中，并非 LLM 独有问题；安全对齐效应（模型因避免输出不当内容而改变回答）在不同模型家族间差异极大，有些模型受对齐影响小，有些则显著。
关键要点
- 提出了 交叉调查迁移 这一更严格的个体层面评估框架，替代传统群体分布比较。
- 零样本 LLM 在个体预测准确率上可达 52%，与监督式随机森林差距仅 6 个百分点，显示 LLM 具备一定的迁移推断能力。
- 不同话题的可预测性差异显著：政党态度（67%）远高于主权问题（23%）。
- 方差坍缩并非 LLM 特有，监督模型同样受此影响；安全对齐效应因模型族而异，不能一概而论。
- 研究使用的均为开源 LLM（27B–120B 参数），数据为 TEDS 2024 实地调查，含真实个体级答案。
意义与影响
该研究为“硅采样”的有效性提供了更科学的评估方法。通过个体层面的交叉预测，避免了分布匹配可能产生的高估或误导。结果既肯定了 LLM 在模拟人类回答上的潜力（在不需额外训练时即可接近监督模型性能），也划定了其边界：对高度抽象或敏感的政治议题（如主权）的预测准确率低下，表明 LLM 在这些领域尚不能替代真实受访者。
此外，对“方差坍缩”和“安全对齐”这两项常见批评的重新审视具有方法论意义：它们并非 LLM 独有的缺陷，且影响程度高度依赖模型选择。这提示未来研究在设计硅采样方案时，需根据目标问题的类型审慎选择模型并控制对齐影响。
总体而言，本文为利用 LLM 辅助社会科学调查提供了实证基准，并为开发更可靠的合成受访者生成策略指明了方向——需要将个体层面的可迁移性与话题特异性纳入考量。