CreativityNeuro:通过权重对比引导提升大模型发散思维
速览
CreativityNeuro是一种数据-free的对比权重引导方法,用于提升大语言模型的发散思维能力。它在多个创造力评估中表现出色,提升Divergent Association Task表现最高达14个百分位点。在包括替代用途测试在内的多项任务中显著提高原创性、惊喜感和创造力,并有效降低模式坍塌。激活引导虽在简单任务上有用,但无法泛化到更开放的任务,这凸显了权重空间引导的优势。
AI 深度解读
背景
大语言模型(LLMs)在开放式问题上的表现日益接近人脑的“人工蜂群效应”(artificial hivemind effect),即模型倾向于对创意任务输出高度一致、缺乏多样性的答案。这种趋同现象严重限制了LLM在真正创造性场景中的应用价值,例如创意生成、问题解决和创新设计等领域。
CreativityNeuro正是针对这一问题提出的解决方案:一种无需数据、无需重新训练、无需梯度微调的方法,通过对比权重空间(contrastive weight steering)直接引导模型权重,显著提升模型的发散性思维能力,并有效降低模式崩塌(mode collapse)现象。
核心内容
CreativityNeuro基于对比权重调整机制,采用数据无关的方式实现对LLM权重的定向引导。作者通过对比实验验证了该方法在多个创造力评估任务中的有效性。
在词汇空间创造力测试——Divergent Association Task(DAT)上,CreativityNeuro将性能提升至最高14个人类百分位点。这一结果证明该方法能够有效增强模型在词汇关联上的发散度。
在更大规模的人类评估中(N=720),CreativityNeuro在Alternative Uses Test(AUT)和Task Task上的表现显著优于基准模型,具体体现在原创性(originality)、惊喜感(surprise)和整体创造力(creativity)三个维度上。实验进一步表明,这种提升能够迁移至更长形式和更开放式的任务场景。
最重要的是,CreativityNeuro在所有三个评估任务中均有效降低了模式崩塌指标,表明模型不再局限于单一生成路径,而是具备了更丰富的生成多样性。
相比之下,激活空间导向(activation steering)在DAT上与CreativityNeuro取得了相当的性能提升,但无法成功迁移到AUT和Task Task。这进一步证明,权重空间导向在跨任务泛化方面具有更强的优势。
综上所述,CreativityNeuro无需依赖行为数据、重新训练或梯度优化操作,是一种简洁高效的LLM创造力增强途径,能够直接应用于创意相关领域。
关键要点
- 提出CreativityNeuro:数据无关的对比权重导向方法,通过直接调整模型权重提升发散性思维,无需行为数据、重新训练或梯度微调
- DAT(词汇空间创造力测试)表现:最高提升14个人类百分位点
- 大规模人类评估(N=720):在AUT和Task Task上显著提升原创性、惊喜感和创造力,可迁移至更长形式任务
- 模式崩塌降低:所有评估任务中均观察到模式崩塌指标下降,模型生成路径更丰富
- 激活导向对比:激活空间导向在DAT上效果接近,但无法泛化到AUT和Task Task,凸显权重空间导向的跨任务优势
- 总体优势:无需数据/训练即可改善LLM在创意领域的性能,提供简单有效增强方式
意义与影响
CreativityNeuro为LLM创造力优化开辟了新的范式,彻底解决了传统微调方法的高成本与数据依赖问题,极大地降低了部署门槛。
该方法不仅能直接提升创意生成能力,还能有效缓解LLM在开放式任务中的趋同现象,使模型更加适合创新型应用场景,例如自动创意工具、头脑风暴辅助系统或长文本创作辅助等。
权重空间导向的跨任务泛化能力更是其亮点:即使在从未见过的开放式任务上也能持续提升性能,表明该技术具有更强的鲁棒性和适用性。
总体而言,CreativityNeuro为未来LLM在创造性领域的普及应用提供了实用路径,有望推动大模型从“一致回答者”向“真正智能生成者”转变,加速AI在人类创新工作流中的深度融合。
