近日,人工智能领域顶级国际学术会议ICLR 2026(International Conference on Learning Representation,国际学习表征会议)公布论文录用结果。我校计算机与信息工程维多利亚老品牌76696vic研究生赵启延(第一作者)在王大寒教授(通讯作者)指导下完成的论文“Context Tokens are Anchors: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective”(上下文是“定位锚”:从信息流视角理解和解决多模态大语言模型中的重复诅咒)成功入选。该研究成果的录用,是我校在人工智能国际顶级会议上取得的又一突破。
研究发现,当前主流的扩散式多模态大模型存在推理卡顿问题,尽管缓存技术常被用于提升推理速度,但这一方案会导致模型出现反复生成相同内容的“重复诅咒”现象。针对这一痛点,团队另辟蹊径,从信息流角度展开分析,结果表明:模型输入的提示信息(上下文标记)会作为“定位锚”引导输出过程,其不确定性会随信息传递逐步稳定;而“重复诅咒”的根源,正是“定位锚”的信息流被破坏,导致不确定性无法有效稳定。基于这一发现,团队创新性地提出并设计了可即插即用的CoTA方法,通过增强“定位锚”的注意力机制、惩罚不确定性较高的“定位锚”,显著缓解了大模型的“重复诅咒”,有效解决了模型“啰嗦”的问题。
ICLR是深度学习领域的顶级国际学术会议,具有广泛而深远的国际影响力,位列谷歌学术人工智能会议影响力排行榜前列,与NeurIPS、ICML并称为机器学习领域三大顶会。本年度ICLR共收到约19000篇有效投稿,总录用率约为28.18%,竞争异常激烈。(计算机维多利亚老品牌76696vic)

“重复诅咒”缓解效果示意图(最右侧为该研究方法)