Claude-real-video：任何大模型都能实时观看视频

背景

目前主流的AI工具在处理视频时普遍存在局限性。ChatGPT等模型无法直接读取视频文件，而是依赖于YouTube等平台的转录文本。Claude模型甚至不支持上传视频文件，而Gemini虽然能原生处理视频，但默认每秒采样一帧（1 fps），导致快速剪辑中的画面变化容易被忽略。

核心内容

claude-real-video 工具提供了一种全新的方式，让任何大语言模型（LLM）真正“观看”视频。它支持本地运行，用户只需指向一个URL（YouTube、Instagram、TikTok等）或本地视频文件，工具会智能提取并处理视频内容：

• 抓取关键帧：工具会提取视频中实际发生场景变化的帧，而不是固定间隔采样。默认情况下，至少每 --fps-floor 秒提取一帧，确保快速剪辑和慢速画面都能被覆盖，同时剔除近似重复帧。
• 去重处理：使用真实像素差异对比（下采样RGB通道，非感知哈希），结合滑动窗口（最后 --dedup-window 个帧）进行去重，避免在A-B-A快速切换场景时重复发送已知内容。
• 音频转录：支持嵌入式字幕（.srt/.vtt文件直接使用作为转录文本，更准确且快速），或在无字幕时调用Whisper模型转录音频。
• 输出格式：生成干净的文件夹结构，包括：
  • frames/*.jpg（关键帧图像）
  • transcript.txt（纯文本转录）
  • MANIFEST.txt（总结文件内容，便于模型引用）
• 可选功能：通过 --keep-audio 参数保留完整原始音轨（m4a格式），让支持听力的模型（如Gemini、GPT-4o）同时听到音乐、语音和音效。
• 支持网络视频：通过yt-dlp下载，支持Netscape cookie文件（仅限用户授权访问，不推荐在仓库中共享凭证）。本地文件也可直接处理。
• 安装与使用：
  • 核心依赖：pip install claude-real-video（包含帧提取与去重）
  • 音频支持：pip install "claude-real-video[whisper]"（或单独pip install openai-whisper）
  • 依赖库：ffmpeg 与 ffprobe（需手动安装并确保在PATH中）
  • 运行命令示例：
    • crv "https://www.youtube.com/watch?v=..."
    • crv "https://www.instagram.com/reel/XXXX/"
    • crv lecture.mp4 -o out --lang en（本地文件，指定输出目录和语言）
    • crv clip.mp4 --no-transcribe（仅提取帧，无转录）
    • 支持python -m claude_real_video ...作为别名
• 内部流程：下载/读取视频 → 帧提取（ffmpeg选择每场景变化帧）→ 去重（滑动窗口像素差）→ 转录（字幕或Whisper）→ 生成MANIFEST.txt → 输出目录。
• 报告功能：添加--report参数可生成report.html，详细展示每帧的保留/丢弃决策及像素差异百分比，便于调试。
• 许可证：MIT开源，适合个人与商用。

工具完全在本地运行，无需上传任何内容到云端，显著降低了隐私风险和成本。

关键要点

• 支持任意LLM本地“观看”视频，无需上传数据。
• 采用场景变化驱动的帧采样 + 像素去重策略，避免固定1fps的过采样或欠采样问题。
• 自动优先使用视频字幕作为转录，必要时调用Whisper转录音频。
• 输出包含帧、文本转录和MANIFEST，便于直接丢入Claude/ChatGPT/Gemini等模型查询。
• 支持本地文件和受保护视频（cookie认证），保留完整音频轨道可选。
• 依赖ffmpeg/ffprobe（手动安装），核心Python代码可在macOS/Windows/Linux上运行（Python 3.10+）。
• 可通过报告文件调试帧选择逻辑，输出目录支持重新运行覆盖。

意义与影响

claude-real-video 填补了当前AI视频处理能力与实际应用之间的差距。它让任何普通用户都能以更低的成本和更高的准确性，让LLM真正理解视频内容，而非仅靠文本摘要。这对需要视频分析的场景（如法律证据审核、内容创作、科研文献分析）具有重要意义，显著提升了AI工具的实用性和可访问性。

从技术角度看，该工具的“智能采样 + 去重”策略优化了上下文长度，降低了推理成本，同时兼顾了快速剪辑和静态画面的覆盖率，标志着视频理解模型架构的演进方向。开源性质也加速了社区迭代和生态扩展，未来可能催生更多类似本地化视频处理工具，推动AI从“听闻”向“亲眼所见”转变。

此外，隐私保护优势（完全本地无上传）在数据敏感行业（如金融、医疗、法律）中尤为突出，为大规模视频AI应用开辟了新路径。总体而言，这款工具不仅解决了当前痛点，更为AI在多模态理解上的落地提供了坚实基础。