用CLAP模型实现机械故障自动分类

背景

随着智能手机和短视频平台的普及，用户随手录制的汽车异响音频成为诊断潜在故障的廉价数据源。然而，从包含语音、音乐、道路噪声的嘈杂录音中提取机械声并准确分类，是一项极具挑战性的任务。传统的汽车故障诊断依赖专业设备或人工经验，而机器学习方法在真实场景下往往因数据质量低、标注成本高而难以落地。在此背景下，一个名为 cardiag 的开源项目尝试利用对比语言-音频预训练（Contrastive Language-Audio Pretraining，CLAP）模型，构建端到端的音频故障排查工具，并以诚实、可复现的方式公开其局限性与性能。

核心内容

cardiag 是一个完整的音频-机器学习流水线，以命令行界面（CLI）和实时 Web 应用两种形式提供。其核心流程如下：

1. 数据采集：从 YouTube 和 TikTok 爬取故障音视频片段。
2. 音频清洗：通过 clean() 级联处理，从语音、音乐、噪声中分离出机械声（如发动机、底盘运转声），并截取短时机械片段。
3. 嵌入生成：使用冻结的 CLAP 模型将清洗后的音频片段嵌入为 512 维向量。
4. 分类头：在嵌入向量上训练多个小型线性分类头，分别用于判断：
   • 是否存在故障（verdict）
   • 故障大致区域（region，如发动机区域、行驶系）
   • 具体部件排名（ranked parts）
   • 敲击声（knock）——但该头因未通过样本外验证而被弃用。
5. 校准输出：模型不硬性地给出“确定”诊断，而是输出校准后的故障可能性，并在音频证据不足时明确返回“uncertain”（不确定），避免自信误判。

项目附带预训练小模型（models/ 目录）以及一个合成演示片段，克隆仓库后无需下载额外数据即可立即运行。使用 uv 虚拟环境安装依赖后，可通过 cardiag 命令执行多种操作：

• cardiag doctor：检查安装环境
• cardiag train --fixtures：使用夹具数据在约 2 秒内离线训练一个可用模型（无需爬取或下载 2 GB 数据）
• cardiag diagnose <clip.wav>：输出诊断结论、区域和部件排名
• cardiag triage <clip.wav>：仅输出发动机与行驶系的校准判断
• cardiag clean <clip.wav>：分离机械声（无需模型）
• cardiag inspect <clip.wav> -o r.html：生成交互式 HTML 报告，展示清洗、嵌入、分类各阶段的波形、语谱图和分数
• cardiag ingest ./my_audio --kind fault --cause wheel_bearing：导入用户自己的录音
• cardiag scrape youtube|tiktok：构建自定义语料库
• cardiag serve --model models：启动 Web 应用，支持拖拽上传或粘贴链接，并提供“解释原因”功能

项目注重可复现性和诚实评估：在 1031 个视频分组上采用逐视频分组交叉验证（grouped CV），并做置换检验（permutation p = 0.0005），严格避免数据泄露。对粗糙的手机录音，模型准确率达到文献天花板水平；在清洗过的发动机音频上，AUROC 可达 0.93。所有训练的线性头均经过样本外测试，未通过者（如敲击声分类头）被移出模型。

架构上，所有音频（爬取片段、用户录音、推理上传）都经由相同的 clean() 级联处理，确保训练与推理之间无偏移。超过约 10 秒的片段会被切分为窗口，避免 CLAP 模型静默截断。清洗、嵌入、分类三个步骤可独立可视化。

项目文档包含：

• DEFENSE.md：论证为何即使方法粗糙，仍能得到有实际意义的排查结果。
• MODEL_CARD.md：每个分类头的指标、预期用途和限制。
• architecture.md：流水线示意图。
• scraping-guide.md：从零构建语料库的完整指南。

适用场景：社交媒体风格或用户主动上传的音频（YouTube、TikTok、手机录音）。不是安全关键或独立诊断工具，而是辅助排查的助手，能缩小检查范围并对不确定性诚实以告。模型文件为 joblib 工件，用户应只加载可信来源的文件。

关键要点

• 端到端流水线：从爬取、清洗到嵌入、分类，cardiag 提供完整的 CLI 和 Web 工具链，无需外部依赖即可运行。
• 核心创新：音频清洗 + 诚实训练方案可复用于其他音频数据集，而非仅针对汽车故障。
• 诚实评估：严格的分组交叉验证、置换检验、样本外测试，并且公开模型在真实嘈杂录音下的天花板性能。
• 不确定性处理：模型在证据不足时输出“uncertain”，避免过度自信误导用户，体现负责任的设计。
• 预处理一致性：训练和推理共用相同的 clean() 级联，消除 train/serve skew。
• 可交互可视化：inspect 命令生成 HTML 页面，让用户能直接“看”和“听”流水线各阶段的处理效果。
• 快速上手：预训练小模型和合成片段随仓库提供，用户可在数秒内体验完整流程。
• 开源与文档：所有代码、模型卡片、评估细节、架构图、爬取指南均公开可查。

意义与影响

cardiag 项目展示了将大规模预训练音频模型（CLAP）与简单线性分类头结合，能够在极具挑战的音频故障诊断场景中取得实用结果。其重要意义在于：

• 降低门槛：用户只需一部手机或一段网络视频，即可获得有校准的故障排查建议，无需专业听诊设备或资深技师。
• 强调诚实与安全：在面对高风险决策（如汽车维修）时，明确告知系统的不确定性，避免盲目信任。这种设计哲学值得其他 AI 健康/安全应用借鉴。
• 开源验证：提供完整的代码、数据、训练脚本和评估协议，允许社区复现、改进和扩展，推动该领域从“刷榜”转向“真实世界评估”。
• 技术复用性：音频清洗+诚实训练配方不限于汽车故障，可应用于机械维护、工业质检等任何需要从嘈杂音频中提取事件并分类的场景。
• 对文献的尊重：承认当前方法在真实手机录音下已达到文献上限，而非夸大性能，有助于建立学术诚信。同时，在干净音频上 0.93 的 AUROC 表明方法本身具有潜力。

总之，cardiag 并非一个完美的诊断系统，而是一个经过精心设计、坦诚公开局限性的研究工具和有实用价值的排查助手。它为如何利用预训练模型处理真实世界噪声数据提供了一个可复现的范例，并鼓励社区在此基础上进一步探索。