通过局部梯度冲突解决实现多语言微调
原标题：Multilingual Fine-Tuning via Localized Gradient Conflict Resolution
速览
该研究将多语言微调重构为多目标优化问题，提出Bucket-Level MOO分布式框架。该方法在参数桶层面应用梯度算法，避免全量梯度通信开销，并证明其能强制满足精炼帕累托平稳性。实验表明，该方法能显著提升大模型在多语言任务上的表现。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org