TRINE：面向多模态 AI 的 Token 感知与运行时自适应 FPGA 推理引擎

背景

当前，多模态人工智能（Multimodal AI）系统正迅速成为主流，它们通常混合了视觉变换器（ViTs）、卷积神经网络（CNNs）、图神经网络（GNNs）以及基于 Transformer 的自然语言处理（NLP）模型。然而，将这些异构模型部署在嵌入式平台上面临着巨大的挑战。

主要痛点在于计算和内存访问模式的巨大差异。ViT 和 Transformer 通常具有高度的并行性和特定的内存访问模式，而 CNN 和 GNN 则往往涉及稀疏计算或不同的数据流。此外，嵌入式平台通常对“硬实时”（hard real-time）性能有严格要求，这意味着系统几乎没有容错空间（slack）。现有的通用硬件（如 CPU、GPU）或单一架构的加速器难以在能效和延迟之间取得最佳平衡，尤其是在需要端到端处理多种模态数据的场景下。

核心内容

TRINE 是一种专为多模态 AI 设计的单比特流（single-bitstream）FPGA 加速器和编译器。其核心创新在于能够在不进行重新配置（reconfiguration）的情况下，执行端到端的多模态推理。以下是其技术实现的详细解读：

1. 统一计算抽象与模式切换引擎

TRINE 将不同的神经网络层统一抽象为三种核心计算模式：

• DDMM (Dense-Dense Matrix Multiplication)
• SDDMM (Sparse-Dense Matrix Multiplication)
• SpMM (Sparse Matrix Multiplication)

这些抽象被映射到一个可切换模式的引擎上。该引擎共享一个处理单元（PE）阵列，并能在运行时动态切换以下三种操作模式：

• 权重/输出驻留脉动阵列（Weight/Output-Stationary Systolic）：适用于密集矩阵乘法，利用脉动阵列的高能效特性。
• 1xCS SIMD：单指令多数据流模式，适用于向量级并行操作。
• 可路由加法器树（RADT, Routable Adder Tree）：专门用于处理稀疏计算或特定的归约操作，通过可路由结构优化稀疏数据的处理效率。

2. 流式 Token 剪枝

为了优化基于 Transformer 的模型（如 ViT）的性能，TRINE 设计了一个宽度匹配的两阶段 top-k 单元。该单元支持“流式”（in-stream）Token 剪枝。这意味着在数据流动的过程中，系统可以动态识别并丢弃对最终结果贡献较小的 Token，从而显著减少后续层的计算负载。

3. 依赖感知层卸载（DALO）

为了解决多模态管道中不同层之间的依赖问题并提高资源利用率，TRINE 引入了依赖感知层卸载（DALO, Dependency-Aware Layer Offloading）技术。该技术能够识别独立运行的内核，并将它们重叠调度到可重配置的处理单元上。这种重叠执行策略确保了在处理复杂的多模态任务时，硬件资源始终保持高利用率。

4. 性能评估

TRINE 在 Alveo U50 和 ZCU104 FPGA 平台上进行了评估，结果如下：

• 延迟降低：在 20-21 W 的功耗下，相比 NVIDIA RTX 4090，延迟最高降低 22.57 倍；相比 Jetson Orin Nano，延迟最高降低 6.86 倍。
• Token 剪枝效果：在以 ViT 为主的管道中，仅 Token 剪枝一项技术即可带来最高 7.8 倍的性能提升。
• DALO 贡献：依赖感知层卸载技术贡献了最高 79% 的吞吐量提升。
• 精度保持：在使用 int8 量化后，在代表性任务上的精度损失保持在 2.5% 以内。

TRINE 在一个比特流中实现了统一视觉、语言和图工作负载的当前最佳（SOTA）延迟和能效表现。

关键要点

• 单一比特流架构：TRINE 最大的优势在于无需重新配置 FPGA 即可处理多模态任务，消除了传统 FPGA 方案中因重配置带来的延迟开销。
• 混合计算模式支持：通过在同一 PE 阵列上动态切换脉动阵列、SIMD 和可路由加法器树，TRINE 能够高效处理从密集到稀疏的各种计算模式。
• 运行时自适应：系统具备运行时自适应能力，能够根据数据特征动态调整计算模式，而非依赖静态编译优化。
• 高效的 Token 剪枝：内置的流式 Token 剪枝机制专门针对 Transformer 架构优化，显著降低了计算密集型模型的资源消耗。
• 极高的能效比：在低功耗（20-21 W）下，TRINE 在延迟和能效上均超越了高端 GPU（RTX 4090）和主流嵌入式 AI 芯片（Jetson Orin Nano）。
• 精度与性能的平衡：在 int8 量化条件下，精度损失极小（<2.5%），证明了其在实际部署中的可行性。

意义与影响

TRINE 的提出解决了多模态 AI 在边缘设备和嵌入式平台部署中的关键瓶颈。传统上，多模态模型因其计算模式的异构性，往往需要复杂的软件栈或多种硬件协同工作，导致系统复杂度高、延迟不可控。TRINE 通过硬件层面的统一抽象和运行时自适应，证明了 FPGA 可以在不牺牲灵活性的前提下，提供接近专用 ASIC 的性能和能效。

这一成果对于自动驾驶、机器人、智能物联网（IoT）等对实时性和功耗敏感的应用领域具有重要意义。它表明，通过细粒度的硬件-软件协同设计，FPGA 依然能在 AI 加速领域占据独特且重要的地位，特别是在需要处理混合计算负载的场景中。此外，TRINE 展示了一种新的 FPGA 编程范式，即从“静态配置”转向“运行时自适应”，这可能为未来的可重构计算架构设计提供新的思路。