Show HN: Resonate – 低延迟、高分辨率的频谱分析

背景

在音频信号处理领域，频谱分析是理解信号频率成分的核心手段。传统的频谱分析方法，如快速傅里叶变换（FFT）和常数Q变换（CQT），虽然广泛应用，但在处理实时、高动态变化的音频信号时，往往面临着计算复杂度、内存占用以及时间-频率分辨率权衡（Time-Frequency Resolution Trade-off）的挑战。FFT 通常具有固定的频率分辨率，且存在频谱泄漏问题；而 CQT 虽然符合人耳对数频率感知特性，但计算成本较高。

在此背景下，Resonate 模型应运而生。该模型由 François 开发，最初于 2025 年在文献 (François, 2025) 中正式介绍，并在 (François, 2026) 中进行了扩展。Resonate 的核心灵感来源于谐振器模型（Resonator Model），它利用指数加权移动平均（EWMA，在信号处理中也称为低通滤波器）在时域中累积信号在其谐振频率附近的贡献。这种设计旨在提供一种无需缓冲、计算量极小且支持实时处理的频谱分析方案，特别适用于对延迟敏感的应用场景。

核心内容

Resonate 的技术架构建立在一个紧凑的迭代公式之上，其核心思想是通过一系列独立的谐振器来实时估计输入信号的频谱内容。

1. 基础谐振器模型与 EWMA 机制

每个谐振器 $k$ 由其固有谐振频率和瞬时谐振频率 $f_k(t) = \frac{\omega_k(t)}{2\pi}$ 表征。该模型使用一个复数 $R_k(t)$ 来描述，其振幅捕获了输入信号在频率 $f_k(t)$ 附近的成分贡献。

对于采样率为 $sr$、取值范围在 $[-1, 1]$ 的实值输入信号 $x(t)$，采样间隔为 $\Delta t = 1/sr$。谐振器状态通过以下递归更新公式进行计算：

1. 相量更新（Phasor Update）： [ P_k(t) = P_k(t-\Delta t) e^{-i \omega \Delta t} ]
2. 谐振器状态更新： [ R_k(t) = (1-\alpha_k) R_k(t-\Delta t) + \alpha_k x(t) P_k(t) ]

其中，参数 $\alpha_k \in [0, 1]$ 决定了新测量值对累积值的影响程度。$\alpha_k$ 可以表示为系统时间常数的函数，启发式地设置为与谐振频率 $f$ 成反比。对于音频应用感兴趣的频率范围（20-20000 Hz），一个合理的启发式公式为： [ \alpha_k = 1-e^{-\Delta t\frac{f_k}{log(1+f_k)} } ]

为了抑制功率和相位振荡，平滑状态 $\tilde{R}_k$ 通过对 $R_k$ 应用带有参数 $\beta_k$ 的 EWMA 生成： [ \tilde{R}_k(t) = (1-\beta_k) \tilde{R}_k(t-\Delta t) + \beta_k R_k(t) ]

这种 formulations 与 Dolson 在 1986 年论文《The Phase Vocoder: A Tutorial》中描述的相位声码器分析的滤波解释第一步一致，即先进行外差（Heterodyning），然后进行低通滤波。

2. 计算效率与并行性

复数 $P_k(t)$、$R_k(t)$ 和 $\tilde{R}_k(t)$ 捕获了谐振器 $k$ 的完整状态。在每次输入信号采样时更新状态仅需少量算术运算。计算功率或幅度并非更新所必需，仅在应用需要时进行，且效率较高。

由独立调谐到感知相关频率刻度的谐振器组成的谐振器组（Bank），能够实时计算输入信号频谱内容的瞬时、感知相关估计。此类谐振器组的内存和每样本计算复杂度与谐振器的数量呈线性关系，且与处理的输入样本数量或信号持续时间无关。由于谐振器是独立的，其谐振频率或时间常数的调谐没有限制，所有每样本计算都可以在谐振器之间并行化。

3. 频率跟踪模型（Frequency Tracking）

原始模型 (François, 2025) 保持谐振器的谐振频率固定（类似于 FFT）。然而，扩展模型 (François, 2026) 引入了频率跟踪功能，允许谐振器的谐振频率随时间变化：

• 无显著信息时： 当 $R_k(t)$ 的幅度低于设定阈值时，谐振频率保持恒定，等于谐振器的固有频率。
• 有显著响应时： 谐振频率跟踪估计的瞬时频率。

在每个时间步，$\tilde{R}_k(t)$ 的前一个值与当前值之间的相位差 $\Delta \phi_k(t)$ 提供了相位时间导数的估计，从而计算相应的瞬时频率： [ f_k(t) = f_k(t-\Delta t) + \frac {\Delta \phi_k(t)}{2\pi \Delta T} ]

利用复数乘以其共轭复数的相位等于两数相位差的性质，$\Delta \phi_k(t)$ 的计算公式为： [ D_k(t) = \tilde{R}_k(t) \overline{\tilde{R}_k}(t-\Delta t) ] [ \Delta \phi_k(t) = Arg(D_k(t)) ]

由于 $\Delta \phi_k(t)$ 是为每个输入样本计算的，因此不存在相位解包裹（Phase Unwrapping）的问题。这在基于 FFT 的声码器分析中，当跳长大于 1 或显式计算并减去相位时，是一个至关重要的必要步骤。

角速度变化通过应用时间常数为 $\gamma_k$ 的 EWMA 进行稳定： [ \omega_k(t) = \omega_k(t-\Delta t) + \gamma_k \frac{\Delta \phi_k(t)}{\Delta T} ]

相量 $P_k(t)$ 的更新规则变为： [ P_k(t) = P_k(t-\Delta t) e^{-i \omega_k(t) \Delta t} ]

通过构造，当受到接近谐振器固有频率的幅度和频率可变的正弦输入信号作用时，系统的谐振频率将跟踪估计的输入频率。因此，谐振器的幅度与信号的幅度成正比。

4. 自调谐谐振器组

由频率跟踪谐振器组成的谐振器组会不断自调谐以适应输入信号的内容。谐振器组中谐振器的实际调谐（固有频率）并不重要，只要该组提供了对感兴趣频率范围的适当覆盖即可。谐振器组会持续根据输入信号的内容进行自调谐。不同应用的最佳固有频率密度和分布可能有所不同。

扩展模型公式建立在相同的紧凑迭代方法之上，每个谐振器仅需增加一次超越函数计算。参考实现在现代硬件上表现出实时性能，而利用 SIMD 架构的矢量化并行实现进一步减少了计算时间和延迟。开源的 Oscillators Swift 包包含 Swift 和 C++ 的参考实现。

5. 频谱图生成

频谱信息通常以频谱图的形式呈现，横轴为时间，纵轴为频率，点的值代表给定时间切片中输入信号的频率功率。这些值通常经过归一化并映射到对数颜色标度。

Resonate 谐振器组能够直接且高效地计算任意频率刻度的频谱图，其频率分辨率更相关，时间分辨率远高于基于 FFT 的方法。文中展示的对数频率功率频谱图可直接与从常数Q变换（CQT）计算的经典频谱图进行比较。

关键要点

• 极低延迟与计算复杂度： Resonate 采用迭代更新机制，每样本仅需少量算术运算，无需缓冲，内存和计算复杂度与谐振器数量呈线性关系，适合实时处理。
• 自调谐频率跟踪： 扩展模型允许谐振器频率随信号变化而动态调整，能够精确跟踪输入信号的瞬时频率和幅度，解决了固定频率模型在动态信号下的局限性。
• 避免相位解包裹问题： 由于每个样本都计算相位差，Resonate 天然避免了