Claude Video：让Claude能够观看任意视频

这是什么

bradautomates/claude-video 是一个 Python 开源工具（GitHub 星标 3756），为 Anthropic 的 Claude 系列模型（包括 Claude Code、Claude.ai Web 版以及兼容的 Codex、Cursor、Copilot、Gemini CLI 等 50+ Agent 宿主）添加了“看视频”的能力。用户只需粘贴一个视频链接（YouTube、Loom、TikTok、X、Instagram 等数百种 yt-dlp 支持的内容源）或本地文件路径，然后像聊天一样提问，Claude 就能获取字幕、提取关键帧、阅读画面内容，并基于视频的视觉和音频信息回答问题，而不是仅凭标题或描述猜测。

安装方式灵活：

• Claude Code（推荐）：/plugin marketplace add bradautomates/claude-video + /plugin install watch@claude-video，后续自动更新。
• Codex、Cursor 等：npx skills add bradautomates/claude-video -g（全局安装，跨项目可用；去掉 -g 则为项目本地安装）。
• Claude.ai Web 版：需参考仓库 Install 章节的特殊配置。

零起步配置：macOS 首次运行时自动通过 Homebrew 安装 yt-dlp 和 ffmpeg，Linux/Windows 会打印精确命令。公共视频的字幕大多免费获取；仅当视频无字幕时才需要 Whisper API Key（可选 OpenAI 或 Groq 的 whisper-large-v3）。

解决的问题

Claude 原生能读网页、执行脚本、浏览代码仓库，但无法“看视频”。用户粘贴一个 YouTube 链接后，Claude 只能从标题猜测内容，或拉取一个缺失 90% 画面信息的纯文字转录。这导致：

• 无法分析视频的视觉元素（屏幕录像中的 bug、广告创意的开场画面、产品演示中的交互细节）。
• 无法准确回答“在 xx 秒发生了什么”——因为没有画面时间戳。
• 对长视频的总结流于表面，常遗漏关键内容。

bradautomates/claude-video 弥补了这一缺口，使 Claude 能够同时“看到”图像帧和“听到”音频转录，给出像真正看过视频的人那样的答案。

核心功能

1. /watch 命令

输入任意支持的视频 URL 或本地路径（.mp4、.mov、.mkv、.webm），附带一个问题，Claude 会自动执行完整流程：

1. 抓字幕 → 下载视频（仅下载所需部分）→ 提取帧（场景感知或关键帧）→ 生成带时间戳的转录（优先免费字幕，失败则用 Whisper）→ 将帧作为图片让 Claude Read → 最终给出基于画面的回答。

2. 帧提取模式 (--detail)

• efficient（默认）：仅解码关键帧（keyframes），提取极快（约 0.5 秒处理 49 分钟视频），适合低运动内容或快速浏览。
• balanced：使用场景切换检测 + 回退到均匀采样，对中等长度视频性价比最高。
• token-burner：保留所有场景切换帧，适合高运动视频（如动作片、实时屏幕操作），但可能触发 token 超限警告（>250 帧）。

帧宽默认 512px（可 --resolution 1024），高度自动适配，图片 token 成本按 (宽×高)/750 计算。每帧约 197 token（512×288），1024px 则约 4 倍。

3. 智能帧去重（默认开启，--no-dedup 关闭）

通过将每帧缩放到 16×16 灰度图，计算与上一保留帧的平均亮度差异。差异 ≤ 2.0 的视为近似重复，自动丢弃。这避免屏幕录制中同一幻灯片停留 90 秒产生大量重复帧浪费 token。输出会报告如“6 selected from 14 candidates (8 near-duplicates dropped)”。

4. 时间定位模式

用户可指定时间窗口：--start / --end（如 --start 2:30），此模式下帧采样率最高 2 fps，聚焦于感兴趣区间，避免对整片进行稀疏扫描。

5. 多种使用场景

• 分析他人内容：分析病毒视频的开场钩子、广告创意、竞品发布。
• 调试 bug：上传屏幕录像，Claude 自动定位问题帧并描述画面。
• 总结长视频：提取结构、关键时刻、话语和画面，比 2 倍速观看更快。
• 去营销话术：要求“跳过 hype，只告诉我真正新增了什么”。
• 笔记整理：将系列视频逐集生成摘要笔记。

亮点 / 与同类相比

| 对比维度 | bradautomates/claude-video | 一般视频总结工具 | |---------|----------------------------|-----------------| | 视觉理解 | 读取每一帧的原始图像，Claude 能“看到”画面细节 | 多数只分析转录文本，忽视视觉信息 | | 框架依赖 | 零配置，自动安装 yt-dlp、ffmpeg，自带去重、智能采样 | 需手动管理依赖，常缺少帧级分析 | | 成本控制 | 自动 FPS 控制、去重、token 预算上限（默认 100 帧 balanced），用户可调节 detail 和分辨率 | 多数无此优化，易过量消费 token | | 灵活性 | 兼容 50+ Agent 宿主，支持 Web 版 Claude、本地路径、数百种视频源 | 通常绑定特定平台或语言 | | 字幕获取 | 优先免费自动字幕，降级到 Whisper（可切换 Groq 或 OpenAI） | 多固定使用付费 API 或依赖上传字幕 | | 帧模式 | 三种模式（快速/均衡/token燃烧）覆盖不同成本与质量需求 | 通常只有一种帧策略 |

独特价值：它不是简单的“视频转文字”，而是让 Claude 同时阅读画面和听音频。屏幕录像中的一行代码变动、终端滚动、按钮颜色变化等视觉细节，都能被 Claude 捕捉与分析。

适合谁用 / 上手

目标用户

• AI Agent 开发者与 Claude 重度用户：需要让 Agent 理解视频输入的场景，如自动化测试报告分析、竞品监控。
• 产品经理 / 市场人员：快速分析竞争对手的发布视频、广告创意，剥离营销术语提取实质信息。
• 技术运维 / 工程师：接收到屏幕录像的 bug 报告后，无需手动打开文件，直接用 Claude 诊断问题。
• 内容创作者 / 研究员：对长视频、播客、课程进行结构化解构，生成可搜索笔记。
• 任何需要从视频中获取精确信息但又不想耗费时间观看的人。

快速上手

1. 安装（以 Claude Code 为例）：

   claude /plugin marketplace add bradautomates/claude-video
   claude /plugin install watch@claude-video
   

2. 使用：在 Claude Code 或兼容终端中：

   /watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?
   

3. 高级用法：添加参数调整帧密度、分辨率、时间范围，例如：

   /watch bug-repro.mov --detail balanced --resolution 1024 --start 1:00 --end 1:30 what's going wrong?
   

4. 清理：脚本会在结束后打印工作目录，如果没有后续问题，Claude 自动清理临时文件（帧图片和音频）。

注意事项：帧 token 是主要开销，尤其是高分辨率或长视频。建议从 efficient 模式开始，逐步微调 --detail 和 --resolution 以平衡成本与视觉细节。字幕成本通常较低，大多数公共视频均可用免费字幕。