符号神经CPU实现量化模拟回写与可解释执行

背景

神经网络能够学习算法的输入-输出映射，但信任一个训练好的执行器需要的不只是最终正确的答案——因为产生该答案的状态转移通常是隐藏的。为了将这些状态转移变得可见，本文提出了一种轨迹监督的符号神经CPU，它是一种因子化的学习执行架构，旨在让神经网络执行算法时的每一步内部状态——包括所选操作、源和目标寄存器、寄存器轨迹、内存信号以及写回语义——都能被观察和验证。这项研究特别关注在低精度（量化）条件下如何保持符号化的操作路径，并消除因连续和低精度参考语义不匹配而引入的数值漂移。

核心内容

本文的核心贡献是Symbolic Neural CPU，一个受监督的神经执行框架。其架构包含以下关键组件：

• 循环控制器（Recurrent control）：提供时序状态的维护。
• 显式操作路由器（Explicit operation router）：在一组固定的可微分算术逻辑单元（ALU）池上进行操作选择。
• 目标掩码寄存器写回（Destination-masked register writeback）：对写回操作进行掩码控制，确保只有目标寄存器被更新。
• 完整轨迹监督（Complete trajectory supervision）：训练时，每一步的寄存器值、操作选择、内存访问等全部由真实执行轨迹提供监督信号。
• 匹配定点回放（Matched fixed-point replay）：为了消除量化引入的数值漂移，将执行结果与相同低精度参考执行进行定点回放对比。

实验与结果

• 主基准测试是16位宽的指令集（16-wide benchmark）。非量化（浮点）执行器能够精确再现参考执行的结果。
• 8位量化模拟执行器（eight-bit quantization-simulated executor）在长达1000条指令的程序上保持了符号操作路径——即每一步选择的操作、寄存器寻址与参考执行完全一致，尽管数值上可能有微小差异。
• 当使用匹配定点回放进行评价时，数值漂移完全消失，证明漂移并非执行失败，而是源于连续（浮点）语义与低精度参考语义之间的不匹配。

控制器比较与消融

论文比较了多种控制器架构：循环网络（RNN）、Transformer、时序卷积网络（Temporal-Convolution）、时序图启发网络（Temporal Graph-inspired）以及状态空间模型（State-Space）。消融实验表明操作门监督（operation-gate supervision）是保证可检查执行路径的必要条件——没有它，模型无法在每一步输出可解释的操作选择。

瓶颈与扩展

• 隐藏操作码的内存压力任务揭示了当前架构在延迟状态使用（delayed state use）和时间绑定（temporal binding）上的局限性。
• 论文扩展了接口，引入了ValueMemory（一种值记忆机制）、混合自适应泄漏积分点火控制器（hybrid adaptive leaky integrate-and-fire controllers）、通过行为克隆和Actor-Critic强化学习训练的候选约束符号控制（candidate-constrained symbolic control），以及一个RV32I基础整数语义桥（RV32I base-integer semantic bridge），从而将符号神经CPU与真实RISC-V指令集关联起来。

总结

该工作建立了一个轨迹可验证的框架，用于可解释、低精度和可控的神经执行。

关键要点

• 轨迹监督：通过完整的寄存器、操作、内存轨迹监督，使神经执行器的每一步状态都可见，从而提升可解释性。
• 量化保持符号路径：即使使用8位量化，神经CPU仍能正确选择操作和寄存器，维持符号执行路径，数值误差来自语义不匹配而非执行错误。
• 操作门监督的必要性：消融实验证明，没有对操作选择路由器的直接监督，模型无法生成可检查的执行路径。
• 控制器架构比较：RNN、Transformer、时序卷积、时序图网络、状态空间模型各有优劣；循环控制器在延迟状态使用上仍有瓶颈。
• 扩展至真实指令集：通过RV32I语义桥，将抽象的可微分ALU与RISC-V指令集对接，为可验证的低精度神经执行提供了硬件关联可能。
• 数值漂移根源：量化执行器的数值漂移并非神经模型本身失效，而是由于训练或推理时使用的连续数学语义与目标低精度硬件语义不一致，通过匹配定点回放可以消除。

意义与影响

• 促进可解释AI：该工作为解决神经网络“黑箱”问题提供了一种可操作的方法——让网络在执行算法时输出每一步的符号操作和寄存器状态，从而可以被人类检查或形式化验证。
• 低精度计算的信任基础：在边缘设备、嵌入式系统或专用加速器（如FPGA、ASIC）上，量化是降低能耗和延迟的常用手段。本文证明了即使在低精度下，符号执行路径仍然可以保持，为低精度神经处理器的可靠性验证奠定了基础。
• 神经-符号桥梁：通过RV32I语义桥，该架构将神经网络与经典的冯·诺依曼计算模型连接起来，未来可能实现“神经CPU”直接执行编译后的低级指令，同时保持可解释性和容错能力。
• 训练方法的通用性：行为克隆和强化学习的结合表明，符号神经CPU可以通过模仿专家轨迹或与环境交互来学习执行程序，这为程序合成、自动验证等任务提供了新的学习范式。
• 局限性明确：论文诚实指出了延迟状态使用和时间绑定上的瓶颈，为后续研究指明了方向——例如设计更强的记忆机制或显式的时序注意力。