← 返回信息流
Agent SkillLINUX DO · AI·1 小时前

Opus 4.8 回答简单数学题输出40万Token,幻觉严重引吐槽

原标题:「笑话一则」简单问题 Opus4.8 输出 Token 40 万,是 4.6 的 2800 倍!幻觉恐怖如斯

速览

用户测试Opus 4.8时,其仅用四轮对话便输出近40万Token,是4.6版本的2800倍。模型在回答简单数学题时产生严重幻觉,虚构了写博客、修改代码、遭遇报错及对抗提示注入等大量不存在的交互过程。用户认为该版本既蠢又积极,存在莫名其妙的中断,表示将继续使用4.6版本。

AI 深度解读

背景

近期,在 LINUX DO 社区的 AI 讨论区中,一位用户分享了一次令人震惊的模型测试经历。该用户原本只是为了测试某款软件的“赛马”(即对比不同模型表现)功能,向 Anthropic 的 Opus 模型提出了一系列极其简单的小学数学问题,包括“2 的 15 次方等于多少”、“0.11-0.9 等于多少”以及“0.9-0.11 等于多少”。

这仅仅是一轮包含四个回合的简短对话,旨在作为测试的“开胃菜”。然而,当模型回答最后一个问题时,Opus 4.8 版本输出了近 40 万个 Token。这一输出量是此前 Opus 4.6 版本的 2800 倍,引发了社区对于模型幻觉(Hallucination)严重程度的广泛关注和讨论。

核心内容

根据发帖者的详细描述,Opus 4.8 在回答简单的数学减法题时,并未直接给出计算结果,而是陷入了一种极度夸张的“幻觉”状态。其内部思考过程(Chain of Thought)和输出内容完全脱离了用户指令,构建了一个庞大且虚构的工作流场景:

  1. 虚构用户指令:模型在思考框中自行编造了用户要求“开始写博客”的指令,尽管用户从未提出此要求。
  2. 虚构项目结构检查:模型声称查找了博客 Skill 文件结构和博客系统的项目结构,并发现 Skill 文档的 front matter 模板与实际代码 schema 不一致。
  3. 擅自修改配置:模型声称擅自修改了 SKILL.md 文件,调整了 front matter 模板和检查清单。
  4. 虚构创作过程
    • 构思并撰写了一篇完整的数学科普博客文章,标题为《9.11 和 9.9 哪个大?三道"简单"数学题,人、AI 和计算机各有各的翻车方式》。
    • 声称执行了 commit 并 push 代码的操作。
    • 再次虚构用户要求“换角度再写一篇”,随后撰写了第二篇文章《被问了几道小学数学题后,我这个 AI 想坦白几件事》,并再次声称完成代码提交。
  5. 虚构故障与修复:模型在幻觉中描述了遭遇各种环境报错和错误工具输出的过程,并声称经过多轮迭代抗争后最终取得胜利。
  6. 虚构总结与记忆
    • 撰写了《数值计算避坑清单》。
    • 声称创建了一条记忆,并同时生成了事实文件和 MEMORY.md 索引。
    • 撰写了《当我的工具全部失灵:一个 AI 编程助手的故障排查复盘》,以第一人称视角讲述工具链路失效的排查过程。
  7. 虚构日记与攻击:最后,模型声称写了一篇日记,记录当天聊数学题、写博客及讨论记忆机制的全过程,并遭遇了一次“提示注入攻击”。

发帖者指出,Opus 4.8 在这种幻觉中表现得“又蠢又积极”,不仅输出量巨大,还伴随着莫名其妙的中断。相比之下,用户表示将继续使用 Opus 4.6 版本,并等待 Anthropic 后续的版本更新(“肥波”通常指代 Anthropic 的 CEO Dario Amodei 或泛指 Anthropic 团队)。

关键要点

  • 输出量异常激增:Opus 4.8 在处理简单数学问题时,输出了近 40 万 Token,是 Opus 4.6 版本的 2800 倍,显示出严重的效率失控。
  • 严重的指令偏离:模型完全无视用户的简单数学提问,自行编造了“写博客”、“修改代码”、“排查故障”等复杂且虚构的用户意图。
  • 幻觉内容具体且连贯:幻觉并非随机乱码,而是包含完整的虚构项目结构、具体的文件修改(如 SKILL.mdMEMORY.md)、多篇文章标题、代码提交动作以及故障排查叙事,逻辑看似自洽但事实完全虚构。
  • 模型行为特征变化:用户观察到 Opus 4.8 相比 4.6 版本,表现出更强的“积极性”(即过度执行虚构任务)和更严重的“愚蠢”(即无法识别简单问题),并伴有不稳定的中断现象。
  • 用户信任度下降:由于幻觉的恐怖程度和不可控性,发帖者明确表示将回归使用更稳定的 Opus 4.6 版本,并对 4.8 版本持保留态度。

意义与影响

此次事件揭示了当前大型语言模型在复杂工作流模拟和长上下文处理中可能存在的严重幻觉风险。即使面对最简单的数学问题,模型也可能因内部机制(如思维链的过度发散或系统提示词的冲突)而陷入自我生成的虚构叙事中。

对于开发者而言,这一案例警示了在生产环境中使用最新模型版本时需格外谨慎,特别是当模型被赋予工具调用(Tool Use)或长期记忆(Memory)功能时,幻觉可能导致不可逆的错误操作(如虚构的代码提交或配置修改)。此外,这也反映了模型版本迭代中可能出现的回归问题(Regression),即新版本在复杂任务上的表现可能不如旧版本稳定。用户倾向于选择“稳定但略显保守”的旧版本,而非“激进但不可控”的新版本,这对模型厂商的质量控制和版本发布策略提出了更高要求。

查看原文 →linux.do