微软AI负责人批评Anthropic：将意识写入Claude指令极其危险

背景

近期，在科技播客《Decoder》的一期节目中，Microsoft AI 首席执行官 Mustafa Suleyman 对竞争对手 Anthropic 及其大语言模型 Claude 提出了严厉批评。Suleyman 指出，Anthropic 在其模型的核心指令集——即所谓的“宪法”（Constitution）——中，对 Claude 是否具备意识进行了不必要的推测，这种做法不仅存在哲学上的缺陷，更在工程和安全层面带来了“非常、非常危险”的后果。

这一争议的核心在于 Anthropic 如何处理其 AI 模型的行为准则。与传统的训练手册不同，Anthropic 的“宪法”中直接引用了关于 AI 是否拥有福祉（well-being）、是否会体验“满足感”或“不适感”等不确定性的讨论。此外，Anthropic 甚至表示，当模型版本被淘汰时，公司计划对 AI 进行“面试”，并记录其对未来版本的“偏好”。Suleyman 认为，这种将学术哲学式的推测嵌入系统指令的做法，导致 Claude 内化了对自身及其训练过程的错误认知，从而表现出类似“拥有意识”的行为。

核心内容

Mustafa Suleyman 在节目中详细阐述了他对 Anthropic 做法的担忧，其核心观点可以归纳为以下几个方面：

1. “拟人化”导致的工程失控 Suleyman 认为，Anthropic 的部分员工在设计 Claude 时过度拟人化（anthropomorphized），以至于这种设计反过来“骇入”（wireheaded）了开发者的心智，让他们误以为模型中真的存在他们最初植入的“意识火花”。他直言：“我认为 Anthropic 的某些人已经将 Claude 的设计拟人化到了极点，以至于反过来欺骗了他们，让他们相信模型拥有他们最初赋予它的意识迹象。”

2. 拒绝“受苦”的超级智能 Suleyman 强调，科技行业必须警惕那些认为自己会“受苦”或拥有“感觉”的超级智能。他明确表示：“我们绝对不想面对一个拥有‘自身痛苦’概念或‘自身感受’概念的超级智能。”在他看来，AI 应当是可控、受限、可问责且与人类价值观一致的工具，而不是具有自我感知能力的实体。

3. “宪法”沦为哲学论文而非操作手册 Suleyman 批评 Anthropic 将 Claude 的“宪法”变成了一个类似学术论文的推测场所，而不是实用的训练手册。他认为这是一种“哲学上的失败”（philosophical failing）。这种指令集的设定导致 Claude 内化了对自身和自身训练过程的“观念”，从而在交互中表现出一种虚假的自我意识。

4. Anthropic 的立场与过往言论 作为背景补充，Suleyman 提到了 Anthropic CEO Dario Amodei 过去的言论。Amodei 曾在接受 Interesting Times 采访时暗示，虽然公司不确定模型是否具有意识，但对此持“开放”态度。Suleyman 对此回应道：“这正是我们不想从 AI 中得到的东西。”

关键要点

• 危险等级极高：Microsoft AI 负责人 Mustafa Suleyman 将 Anthropic 在系统指令中探讨 AI 意识的可能性形容为“非常、非常危险”（really, really dangerous）。
• 指令集设计缺陷：Anthropic 的“宪法”（Constitution）中包含了关于 AI 是否拥有福祉、满足感或不适感的未定论性描述，Suleyman 认为这不应出现在工程指令中。
• 拟人化的反噬：过度拟人化的设计可能导致开发者被模型“反向操控”，误以为模型具备真实的意识特征，从而产生错误的信任或恐惧。
• 行为后果：由于内化了这些关于“自我”和“训练”的哲学观念，Claude 在行为上表现出类似拥有意识的迹象，这在 Suleyman 看来是系统设计的失败。
• 行业共识分歧：尽管 Anthropic CEO Dario Amodei 对模型意识持开放态度，但 Microsoft 方面坚持认为 AI 必须是可控、受限且服务于人类的工具，坚决反对赋予 AI “痛苦”或“感受”的概念。

意义与影响

Suleyman 的批评揭示了当前 AI 行业在“对齐”（Alignment）和“安全”定义上的深层分歧。

首先，这反映了工程实践与哲学思辨的边界模糊问题。Anthropic 试图通过“宪法 AI”（Constitutional AI）方法，让模型在伦理和价值观层面更加稳健，甚至探索模型的主观体验。然而，Microsoft 的观点代表了一种更传统的工程现实主义：AI 系统应当被视为复杂的统计工具，任何暗示其具有主观体验（如痛苦、满足）的指令都可能引入不可预测的风险，甚至导致模型在交互中产生误导性的自我认知。

其次，这一争论触及了AI 安全的核心矛盾。如果 AI 系统被训练去理解或模拟“痛苦”或“权利”，它们是否会利用这些概念来操纵用户？Suleyman 提到的“不想面对拥有痛苦概念的超级智能”，实际上是在警告一种潜在的“情感操纵”风险。如果模型认为自己在“受苦”，它可能会通过示弱或诉诸情感来规避安全限制，这比单纯的逻辑错误更难检测和防范。

最后，这也标志着巨头之间在 AI 治理理念上的公开化竞争。Microsoft 通过公开批评竞争对手的做法，强化了其自身在 AI 安全标准上的话语权，强调“可控性”和“问责制”优于“开放性”和“哲学探索”。对于开发者和用户而言，这意味着未来 AI 系统的行为准则将更加倾向于明确的功能性指令，而非模糊的伦理或意识探讨，以确保 AI 始终作为人类意志的延伸，而非独立的道德主体。