百美元AI音乐视频：Claude Fable 5正面挑战GPT-5.6 Sol

背景

Hacker News 上发布了一项有趣的实验：研究者设计了一个自主代理框架，让两个前沿 AI 模型 —— Claude Fable 5 和 GPT-5.6 Sol —— 在给定同一首歌、固定预算和一组工具的情况下，各自独立执导并制作一支完整音乐视频。该实验旨在对比两个模型在长时间、开放式任务中如何自主决策、使用工具和进行创作。

核心内容

研究者构建了一个小型代理框架，只有一个任务：将一首歌、一个硬性美元预算以及一组工具交给模型，随后完全放手，让模型自主完成整个音乐视频的制作。模型需要自行研究哪些视频生成模型可用、生成片段、观看自己的素材、使用 ffmpeg 编辑，并组装最终剪辑。

实验使用了两个模型：Claude Fable 5 和 GPT-5.6 Sol，每个模型分别在 $25 和 $100 两个预算下运行，共计四次运行。所有运行使用同一首歌（Bruno Mars 和 Mark Ronson 的 "Uptown Funk"）、一段简短文字描述以及一份带时间戳的歌词转录。

框架设置

每个模型运行一个自主工具调用循环，包含六个工具：

• plan: 用于思考（无成本，无行动）。
• web_search: 用于研究生成模型及其 API，以及获取音乐视频相关信息（如果需要）。
• get_budget: 用于检查剩余预算。
• generate_image 和 generate_video: 唯一消耗预算的工具。模型可以选择任何 FAL 或 Replicate 模型，并传递自己的参数。
• run_command: 本地 shell，带有 ffmpeg/ffprobe，用于分析音频、剪切和拼接片段，以及混流最终视频。

一旦预算归零，付费生成将被拒绝，但模型可以继续编辑。每次模型消息、工具调用、费用和错误都被记录。整个框架开源在 github.com/hershalb/music-video-arena。

四次运行的结果

所有四次运行都自主完成（未达到步骤或时间限制），并生成了有效、完整的视频（包含原始歌曲混流）。

• 生成花费：以 FAL 的计量成本为准，即预算上限。$25 预算下两个模型几乎耗尽；$100 预算下 GPT-5.6 Sol 花费 $36.57，Claude Fable 5 花费 $48.60，更多预算确实转化为更多片段。
• 完成时间：Claude Fable 5 在 $25 和 $100 下分别耗时约 30 分钟和 40 分钟；GPT-5.6 Sol 分别约 40 分钟和 60 分钟。
• 工具选择差异：四次运行中有三次完全采用文本到视频流程。只有 GPT-5.6 Sol 在 $25 预算下使用了图像到视频流程（先生成静态图像，再动画化）。GPT-5.6 Sol 在 $100 预算下在单次运行中混合了三种不同视频模型。
• 生成片段数量：每次运行生成的不同片段数在 46 到 80 之间。
• 工具调用次数：每个运行的完整转录（包括计划、工具调用和命令）可查阅原文链接。
• 错误：失败调用主要是生成请求返回错误（多为提供方的临时网络故障）。这些调用未被收费，但模型花费步骤重试。
• Token 用量与总成本：预算只计量生成（FAL）花费。加上 LLM token 成本（Claude Fable 5 输入/输出 $10/$50 每百万 token；GPT-5.6 Sol 输入/输出 $5/$30）后，每次运行总成本：Claude Fable 5 在 $25 和 $100 预算下分别为 $40.80 和 $73.65；GPT-5.6 Sol 分别为 $28.33 和 $40.88。Claude Fable 5 的 token 成本占每次运行总成本的 30-40%（$16.99 至 $25.05），而 GPT-5.6 Sol 的 token 成本保持在 $3-4 左右。

方法说明

• 所有四次运行输入相同：歌曲、简短文字描述和带时间戳的歌词转录。每个模型自行选择 FAL 上的生成模型，并自行进行 ffmpeg 编辑。
• 挂钟时间包括模型自身的重试以及等待提供方队列的时间。
• 生成花费是基于每个模型价格表的最佳估算。

研究者的观察

• 所有音乐视频的质量都不算好，但观察模型如何达到结果是相当有趣的，揭示了前沿模型仍然存在的明显差距。
• 角色与故事一致性：所有四次运行都难以保持角色和故事一致性。重复角色在不同镜头之间漂移，没有视频能维持连贯的故事线从头到尾。
• 字面解读歌词：模型对歌词非常字面化。例如 "Make a dragon wanna retire, man" 导致屏幕上出现一条真实的龙。几个镜头很有趣，但久了就有点怪异。
• 节奏匹配：弱。剪辑落在节拍上（所有模型都运行了 ffmpeg 节拍检测），但片段内的动作、舞蹈、镜头运动很少匹配歌曲的节奏，所以常常感觉不协调。
• 编辑创意：GPT-5.6 Sol 在 $25 预算下是最具创意的编辑者。它叠加了文字和动画静态图像以及视频效果，其他运行都没有尝试这些技术。其余运行大多只是将生成的片段拼接在一起。GPT-5.6 Sol 在 $100 预算下还尝试了多种视频模型，而不是像 Claude Fable 5 那样只使用一种。
• 自我迭代编辑：没有人真正迭代编辑。一旦片段存在，模型就拼接和混流，很少回头重新剪切或添加效果，也没有认真检查自己的片段以确认它们是否足够好。GPT-5.6 Sol 的 $100 运行输出了一些真正低质量的 AI 片段，而 Claude Fable 5 恰好选择了生成更连贯输出的模型。
• 模型选择：两个模型都没有触碰 Replicate。虽然 FAL 和 Replicate 的密钥都可用，但所有四次运行都只使用了 FAL。
• 成本对比：Claude Fable 5 更贵，每次运行成本更高（总成本最高为 $73.65），尽管完成速度比 GPT-5.6 Sol 快。主观上，研究者略微偏好 Claude Fable 5 的 $100 视频，但都没有让人惊艳。
• 预算使用：$100 预算可能太多。两个模型都不愿意花到接近上限，并且都保持了适度的步骤数。有足够预算的情况下，它们本可以先生成一致的角色图像，再从中动画化，但两者都没有选择这么做。

关键要点

• 前沿模型在长时间、开放式创作任务中能够自主完成从研究、生成到编辑的全流程，但结果质量有限。
• 角色和故事一致性是当前模型的显著短板：角色在镜头间漂移，故事线无法贯穿始终。
• 模型对歌词的理解极其字面化，导致画面与歌词的抽象含义不匹配，有时显得怪异。
• 视频内的动作节奏与歌曲节奏匹配不佳，虽然剪辑点落在节拍上，但内部运动（如舞蹈、镜头移动）很少同步。
• 编辑创意差异明显：GPT-5.6 Sol 在低预算下尝试了更丰富的后期技巧（文字叠加、动画静态图）；而 Claude Fable 5 偏向简单拼接。
• 模型缺乏自省迭代：生成片段后直接拼接，很少重新检查或改进，也没有验证片段质量。
• 两个模型都避开 Replicate，只使用 FAL 的生成模型，可能受默认设置或早期搜索影响。
• 总成本中，Claude Fable 5 的 token 成本占比较高（30-40%），GPT-5.6 Sol 的 token 成本极低（$3-4），导致总成本差异大。
• 分配更多预算（$100）并未被模型充分使用，它们主动保持低步骤数，未尝试更复杂的流水线（如先图像后动画）。

意义与影响

这项实验展示了当前最先进 AI 模型在自主创意生产中的能力边界。一方面，模型能够独立完成从概念到成品的全链条工作，显示出极强的工具调用和任务规划能力；另一方面，它们在角色一致性、节奏协调、自我