苹果芯片Mac实时翻译字幕软件Whicc开源
速览
Whicc是一款针对苹果芯片macOS的开源实时翻译字幕软件，利用本地ASR（Nemotron-3.5和Qwen3-ASR）与翻译模型（Tencent Hy-MT2）实现语音转字幕并翻译。支持多语言识别和33种语言互译，可结合LM Studio利用闲置算力。项目自带有术语库和Hermes Agent优化翻译准确度，旨在消除语言障碍。
AI 深度解读
背景
在全球化内容消费时代，用户经常观看外语直播、课程、动漫和体育赛事，但语言障碍阻碍了即时理解。现有方案多依赖付费云端服务或订阅式字幕 SaaS，不仅成本高，还存在隐私和数据依赖风险。与此同时，Apple Silicon Mac 用户拥有闲置的本地算力，却未被有效利用。本文作者受到自身观看 SpaceX 直播、日文动漫生肉、世界杯 4K 转播等场景的痛点驱动，认为 AI 时代的语言翻译应可本地化、免费且自主可控。于是花费约一个月时间，开发了一款完全开源的实时字幕翻译软件 Whicc，旨在让语言障碍消除从此由个人行动开始。
核心内容
Whicc 是一款运行在 Apple Silicon Mac（macOS 26+ 限定）上的原生应用，使用 SwiftUI 和 Python 打包而成，用户无需配置 Python 环境。其核心功能是将系统当前播放的音频或麦克风拾取的声音，实时转为字幕并翻译成用户需要的语言。整个过程完全在本地运行，不依赖任何云端付费服务。
工作流程：
-
语音识别（ASR）：
- 使用 Nemotron-3.5 模型（2025 年 6 月发布）识别非中文语音，覆盖几十个国家语言。
- 检测到中文或方言时自动切换到 Qwen3-ASR 模型（异步切换，不同时加载两个模型）。
- 两个模型均运行在 Apple Silicon 芯片的 MLX 框架上（本地算力）。
-
翻译：
- 使用 Tencent Hy-MT2 模型，支持 33 种语言互译。
- 该模型运行在 LM Studio 中，可以部署在本机或局域网内任意一台机器（包括 Windows 电脑）。
- 利用 LM Studio 的 LM Link 技术，用户可在咖啡店的 Mac 上远程调用家里闲置电脑的算力（例如只在家里跑 Hy-MT2 模型，本机仅登录同一账号）。
-
自学习术语库：
- 字幕本身作为上下文。
- 如果部署了 Hermes agent，它可分析当前上下文（如正在看阿根廷 vs 埃及的世界杯直播），并通过 web search 获取比赛球员信息，构建专属词库，提升翻译准确度。
- 用户也可以手动提示 agent 当前场景（如“我正在看阿根廷vs埃及的世界杯直播”）。
-
下载与上手：
- 需从 Releases 下载 Whicc 应用。
- 首先在设置中下载约 2GB 的 ASR 模型（需能访问 Huggingface 的网络）。
- 然后部署 LM Studio，下载并运行 Hy-MT2 翻译模型。
- 配置完成后即可在屏幕上看到实时字幕。
开源与社区规范：
- 项目 GitHub 地址：
nbzz/whicc（MIT 开源）。 - 在 LINUX DO 社区发布时，作者已完全遵守开源推广规则：完整开源无未开源部分、链接认可社区、AI 生成/润色内容已截图发出，承诺永久有效。
命名由来：
- 最初基于 Whisper 模型，后因 AI 快速迭代，改用最新的 Nemotron-3.5 以及 Qwen3-ASR，故命名为“Whicc”以示传承。
局限与展望：
- 大模型可能误译人名，噪声大时字幕也可能有错，但少量错误不影响整体理解。
- 作者指出，随着 ASR 和翻译模型不断进化，Whicc 将自动受益，用户无需等待软件更新。
关键要点
- 完全本地运行，不使用任何付费云端服务，保护隐私且利用闲置算力。
- 仅支持 Apple Silicon Mac（macOS 26+），未来可能开发原生 Windows UI。
- 语音识别使用双模型自动切换：Nemotron-3.5（非中文） + Qwen3-ASR（中文/方言）。
- 翻译使用 Tencent Hy-MT2（7B 参数），通过 LM Studio 部署，支持局域网远程调用算力。
- 集成 Hermes agent 实现自学习术语库，结合 web search 提升特定场景翻译精度。
- 技术栈：SwiftUI + Python，打包为原生 macOS 应用，无需用户配置环境。
- 模型下载（约 2GB ASR 模型 + Hy-MT2 翻译模型）需访问 Huggingface 网络环境。
- 开源且完整（MIT 协议），已在 LINUX DO 社区发布推广帖。
- 作者后续计划可能开发 Windows UI，并持续适配更新更强的 ASR 和翻译模型。
意义与影响
Whicc 展示了个人开发者如何利用最新开源模型（Nemotron-3.5、Qwen3-ASR、Hy-MT2）和成熟工具链（MLX、LM Studio、SwiftUI）构建出足以匹敌甚至超过云端服务的实时字幕翻译方案。其意义在于：
- 降低语言壁垒的准入门槛：用户不再需要购买昂贵的翻译服务或依赖不稳定的小众 SaaS，只需拥有 Apple Silicon Mac 即可获得实时多语言字幕。
- 推动本地化 AI 应用的普及：通过 LM Studio 的 LM Link 技术，用户可以轻松利用家中闲置 GPU（包括 Windows 机器）进行翻译推理，兼顾移动性与算力需求。
- 开源协作与模型迭代的良性循环：项目完全开源，随着 ASR 和翻译模型不断进化，Whicc 无需大改即可自动提升准确率。作者特别强调“大厂在卷模型，我只需要适配好”，这一思路降低了维护成本并加速了技术红利下沉。
- 针对中文场景的优化：识别中文时自动切换到专用 Qwen3-ASR 模型，解决了通用模型（如 Nemotron-3.5）中文能力差的短板，兼顾了国际用户和中文观众。
- 未来可能启发更多本地化工具：类似概念可扩展至会议翻译、教育辅助、无障碍访问等领域，Whicc 为独立开发者提供了可复用的技术范本。