Adopt $\neq$ Adapt: 野性环境下的 LLM 对话纵向分析深度解读

背景

随着大语言模型（LLM）在消费级应用中的普及，学术界和工业界对用户与 AI 交互行为的研究日益增多。然而，现有的研究大多基于静态快照或短期实验数据，描绘出的用户画像往往是静止的。这种视角忽略了一个关键维度：时间。

在真实世界（in the wild）的使用场景中，用户是否会随着使用时间的推移而改变其行为模式？他们的提示词（Prompt）技巧、任务复杂度以及交互频率是否会发生演变？目前，关于个体用户行为随时间变化的纵向分析（Longitudinal Analysis）仍然是一片空白。

为了填补这一空白，本研究团队对约 12,000 名随机采样的 Microsoft Bing Copilot 用户进行了长期的对话轨迹分析，并将其与公开的大型对话数据集 WildChat-4.8M 进行了对比，旨在揭示用户行为的动态变化及其异质性。

核心内容

本研究的核心在于通过纵向数据分析，检验“用户采纳（Adopt）LLM 是否等同于用户适应（Adapt）LLM”这一假设，并深入剖析不同活跃度用户的行为差异及数据集偏差。

1. 用户行为的“粘性”与个体趋势的微弱性

研究首先分析了 ~12,000 名 Bing Copilot 用户的长期对话数据。虽然从群体层面（Population-level）来看，存在显著的整体趋势（例如总体使用量的增长或某些通用任务类型的增加），但在个体用户轨迹层面，这种趋势非常微弱。

数据表明，用户习惯具有极强的粘性（Sticky）。大多数用户在长期使用过程中，其提问方式、交互频率和任务类型的变化幅度很小。这意味着，一旦用户形成了一定的使用习惯，很难在短期内发生根本性的行为改变。

2. 活跃度与用户能力的显著差异

研究对比了不同活跃度用户的行为特征，发现了 stark differences（显著差异）：

• 高活跃度用户：拥有更多“成功”的对话（通常指获得满意回答或完成复杂任务的对话）。
• 任务复杂度：高活跃度用户倾向于使用 LLM 处理更复杂、更具专业性导向的任务。
• 低活跃度用户：其交互往往更简单、更基础，且任务的专业性较低。

这暗示了用户的使用深度与其技能水平或任务需求高度相关，而非简单的“用得多就是好”。

3. WildChat 数据集的代表性偏差

为了验证上述发现的普遍性，研究团队将 Bing Copilot 的数据与 WildChat-4.8M（一个包含 480 万条真实用户对话的大型开源数据集）进行了对比。

• 部分一致性：确实有一些用户趋势在 WildChat 中也能观察到。
• 严重偏差：然而，研究证据表明，WildChat 数据集显著偏向于高度熟练的“超级用户”（Power Users）。
• 结论：WildChat 并不能代表典型的、大众化的用户-AI 交互模式。它更像是一个精英用户的行为样本，而非普通用户的真实写照。

关键要点

• 采纳不等于适应：用户开始使用 LLM（Adopt）并不意味着他们会随之调整和优化自己的使用策略（Adapt）。个体层面的行为演变非常缓慢且微弱。
• 习惯具有强粘性：尽管群体层面存在宏观趋势，但具体到个人，其交互习惯一旦形成便难以改变，表现出高度的稳定性。
• 活跃度即能力指标：高活跃度用户不仅对话更成功，而且更倾向于探索复杂和专业场景；低活跃度用户则停留在基础交互层面。
• 现有数据集存在幸存者偏差：WildChat-4.8M 等主流公开数据集严重偏向于“超级用户”，导致基于这些数据集训练或评估的模型可能无法准确反映普通用户的真实需求和行为模式。
• 用户异质性极高：不同用户群体之间的行为差异巨大，简单的平均化分析会掩盖重要的个体特征。

意义与影响

这项研究对 LLM 的产品设计、模型训练以及后续的数据科学研究具有重要的警示和指导意义。

1. 对模型训练与评估的警示

下游应用（Downstream uses）若直接使用 WildChat 等现有数据集进行模型微调或评估，可能会产生过拟合于“超级用户”行为的风险。模型可能会学会如何回应复杂、专业的提示，却忽略了如何更好地服务于大多数普通用户的基础需求。研究者在使用此类数据时必须意识到其代表性偏差，并在评估时考虑用户能力的分布。

2. 对产品设计的启示

鉴于用户习惯的“粘性”，产品设计不应假设用户会自发地快速掌握高级功能或优化提示词技巧。

• 渐进式引导：界面和交互设计应提供更低门槛的入门路径，并随着用户活跃度的提升，逐步引导其探索更复杂的功能。
• 个性化支持：针对低活跃度或新手用户，系统应提供更强的即时帮助和简化模式，而非直接暴露所有高级功能。

3. 对学术研究的规范

该研究强调了纵向数据（Longitudinal Data）在理解人机交互中的重要性。未来的研究应更多关注用户行为的动态演变，而非仅依赖静态横截面数据。同时，构建更具代表性、覆盖不同技能水平用户的数据集，将是提升 AI 系统通用性和公平性的关键步骤。

总之，Adopt $\neq$ Adapt。理解用户行为的惰性和异质性，是构建真正以人为本、适应广泛用户群体的 AI 系统的前提。