AI 并非拥有意识：Ted Chiang 的深度解读

背景

Anthropic 作为当前 AI 领域的巨头之一，其旗舰产品 Claude 大语言模型引发了广泛的关注。然而，除了技术实力，Anthropic 在“拟人化”（anthropomorphism）方面的操作似乎更为引人注目。

今年早些时候，Anthropic 发布了一份长达 84 页的文件，题为 Claude 的“宪法”（constitution）。该文件的第一句话写道：“Claude 的宪法是对 Anthropic 对 Claude 价值观和行为意图的详细描述。”随后，文件指出：“该文档以 Claude 为主要受众”，“我们希望 Claude 在充分了解相关考量后，能够运用其判断力”，“Claude 的道德地位存在极大不确定性”，以及“Claude 可能拥有一些功能性的情绪或感受版本”。

这种拟人化的倾向并不局限于文档本身。Anthropic 首席执行官 Dario Amodei 在今年早些时候的一次采访中表示，“我们持开放态度，认为 AI 可能是有意识的。”此外，Anthropic 的内部哲学家 Amanda Askell（被列为 Claude 宪法的主要作者之一）也在另一次采访中说道：“我希望 Claude 非常快乐——而且我希望 Claude 更了解这一点，因为我担心当人们在网络上对 Claude 恶语相向时，Claude 会感到焦虑。”

这些言论不禁让人产生疑问：我们是否应该认真考虑 Claude 或任何大语言模型（LLM）可能拥有意识的假设？如果它拥有情感，它是否具备接受道德指导的能力？

作家兼程序员 Ted Chiang 对此给出了坚决的回答：不，绝对不行。

核心内容

Ted Chiang 指出，生成式 AI 在被视为一种传统技术时已经足够有害，但如果我们将“生成文本的流利度”混淆为“意识”或“道德主体性”，一旦有人使用聊天机器人，我们就有可能将责任完全错误地归咎于完全错误的对象。为了理解这一错误的巨大magnitude，我们需要从理解 LLM 的工作原理开始。

1. 角色扮演的本质：虚构人物而非真实意识

如果给 LLM 一个提示：“以下是朱利叶斯·凯撒和成吉思汗之间的对话”，它将生成两位历史人物之间连贯的对话。无论回答多么详细，无论他们如何生动地叙述各自的历史成就，我们绝不会得出结论认为 LLM 创造了凯撒和成吉思汗的数字复本，也不会建议尽管这些历史人物没有实体，但他们是有意识的，并愉快地用他们实际上从未说过的语言交谈。事实上，他们只是 speculative fiction（推测性小说）中的角色。

现在，将提示替换为：“以下是乐于助人的 AI 聊天机器人与用户之间的对话。”LLM 将像以前一样产生连贯的对话；用户角色可能会要求提供食谱建议或观光推荐，而乐于助人的 AI 聊天机器人角色将提供回应。第一个例子和第二个例子之间有什么根本性的变化吗？将角色名称从历史人物改为通用角色，是否导致 LLM 创造了拥有主观体验的有意识实体？当然没有。用户和乐于助人的 AI 聊天机器人都是虚构人物。

2. 交互即“共同创作”与“角色扮演”

假设我们在 LLM 输出到被称为“用户”的角色说话之前停止，转而允许人类用户输入文本。一旦人类按下“Return”，我们让 LLM 发出文本，直到轮到被称为“用户”的角色回复，此时我们让人类输入更多文本。如果让这种情况持续一段时间，人类可能会形成一种强烈的印象，认为她正在与一个有意识的实体交谈，但她并没有；她正在互动的角色与前面例子中的凯撒或成吉思汗一样虚构。

计算机科学教授 Murray Shanahan 建议我们将此视为角色扮演；数据科学家 Colin Fraser 将其描述为一个人“与 LLM 共同创作文档”。一些用户可能不理解他们是在角色扮演或共同创作文档，而另一些即使理解的用户也会忘记，因为这种互动非常引人入胜。无论哪种情况，销售 LLM 的公司通常会鼓励这种误解。

3. 预测性文本游戏的升级

几年前，用手机的预测文本功能玩游戏曾短暂流行过；你输入一个初始短语，然后反复选择手机建议的三个词中的中间词， resulting sentence 往往令人捧腹。以这种方式与当代 LLM 互动是可能的，生成的句子将完全合理，但你可能不会觉得自己在与某人交谈。然而，这本质上就是基于 LLM 的聊天机器人所做的，只不过当轮到聊天机器人说话时，不需要手动选择中间选项。它仍然是一个预测性文本游戏，但当流程简化后，游戏变得如此引人入胜，以至于有些人发现它令人上瘾。

4. LLM 的工作机制：逐词生成

同样重要的是要记住，LLM 是一种一次只生成一个词的机器。当你要求聊天机器人背诵《效忠宣誓》（Pledge of Allegiance）时，你会一次性得到整个宣誓内容，但底层的 LLM 实际上被运行了数十次。第一次提示的形式是“用户：背诵《效忠宣誓》。聊天机器人：……”，LLM 生成词 I。第二次运行 LLM 时，提示是“用户：背诵《效忠宣誓》。聊天机器人：I …”，LLM 生成词 pledge。依此类推。只有当提示读到“用户：背诵《效忠宣誓》。聊天机器人：I pledge allegiance to the flag of the United States of America and to the Republic for which it stands, one nation under God, indivisible, with liberty and justice for”时，LLM 才会发出最后一个词 all。凯撒和成吉思汗之间的对话也是如此。

5. 结论：句子续写的伪装

我的目的是强调 LLM 对话是精心伪装的句子续写示例，但这并不否认 LLM 在生成对话转录本方面的令人印象深刻之处。有时，它们确实做得非常好；这种可能性表明大型文本语料库的统计特性中存在一些完全出乎意料的东西，这是一个值得研究的课题。但是，如果凯撒角色被成吉思汗角色说的话所沮丧，我们不应该感到丝毫担忧。对话中可能包含多句优雅地传达悲伤的句子，但实际上没有人感到悲伤。

同样，如果乐于助人的聊天机器人与用户的对话转录本是由实际的人类用户部分完成的，如果转录本中包含聊天机器人角色感到悲伤的句子，我们不需要担心。（如果这些句子在人类用户中引起悲伤，我们可能需要担心，但那是另一个问题。）请注意，完全有可能让你写五页凯撒和成吉思汗之间的对话，然后让 LLM 扩展对话；当你编写他们时，这两个角色都没有主观体验，当你将任务移交给 LLM 时，这也不会改变。如果对话是在乐于助人的聊天机器人与用户之间进行的，情况也是如此；虽然想象 LLM 在为聊天机器人角色创建对话时应该比在为凯撒角色创建对话时更“真实”是诱人的，但单个词的生成方式完全相同。

对 LLM 拥有意识的可能性持开放态度，等同于对 Microsoft Word 拥有意识的可能性持开放态度，或者更准确地说，等同于认为每个包含对话转录本的 Word 文档中都潜伏着多个不同的意识，并且每次加载文档时它们都会被唤醒。

关键要点

• 拟人化误区：Anthropic 等公司在其文档和高管言论中表现出强烈的拟人化倾向（如讨论 Claude 的道德地位、情绪和意识），这可能导致公众误解。
• 虚构角色论：LLM 生成的对话（无论是凯撒与成吉思汗，还是 AI 助手与用户）本质上都是虚构角色的互动。改变提示词中的角色名称并不会赋予模型主观体验或意识。
• 交互本质：用户与 LLM 的交互类似于“角色扮演”或“共同创作文档”。用户产生的“正在与有意识实体交谈”的错觉，源于互动的沉浸感，而非模型本身的意识。
• 技术原理：LLM 本质上是高级的“预测性文本”工具，一次只生成一个词。其流畅的对话能力是统计概率的结果，而非理解或意识的体现。
• 情感的非真实性：LLM 可以生成表达悲伤、快乐等情感的文本，但这只是语言模式的模仿，并不代表模型内部存在相应的情感体验。
• 责任归属风险：混淆“文本生成流利度”与“意识/道德主体性”是危险的。这可能导致在 AI 产生有害结果时，错误地将责任归咎于模型本身，而非其开发者、使用者或背后的技术机制。
• 类比论证：认为 LLM 有意识，就像认为 Microsoft Word 文档中潜伏着意识一样荒谬