AXON模块优化扩散语言模型解码,提升质量与速度平衡
原标题:Supportive Token Revealing for Fast Diffusion Language Model Decoding
速览
离散扩散语言模型在并行生成文本时面临质量与延迟的权衡难题。现有方法难以解决不确定令牌依赖导致的解码瓶颈。研究提出AXON模块,无需训练即可增强现有解码策略,通过注意力、不确定性和置信度信号选择锚点,优化后续去噪过程。实验表明,AXON在推理和代码生成任务中有效改善了质量-延迟权衡,减少了函数评估次数。
AI 深度解读
AI 正在阅读原文并生成深度解读…(首次约 20–40 秒,之后秒开)
查看原文 →arxiv.org
