搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式

2026-11-22 21:07:48
来源:

猫眼电影

作者:

卢家玮

手机查看

  猫眼电影记者 刘志杰 报道x

现实世界中的事实知识并非一成不变:企业 CEO 可能更替,产品信息会随着发布与迭代而更新,赛事结果也会不断产生。多模态大模型需要及时吸收这些新信息,才能保持知识的时效性。然而,在持续引入新事实的过程中,如何避免新旧知识之间的相互干扰,并尽可能保留模型在预训练阶段形成的通用能力,仍是亟待解决的关键问题。

针对这一挑战,在西北工业大学宋凌云教授和尚学群教授的共同指导下,研究团队提出了多模态终身知识编辑框架ROSE。该框架通过在知识编辑阶段约束参数更新方向,降低新旧知识之间的干扰。同时在推理阶段按需激活相关编辑的知识,从而减少连续知识更新带来的知识遗忘与原有能力退化。该论文入选NeurIPS 2026 Spotlight。

论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models作者:宋凌云,陈子尧,潘康,韩笑琳,张逸飞,王小奇,潘雨黛,尚学群论文链接:https://arxiv.org/abs/2611.09770代码链接:https://github.com/sunlitsong/ROSE

连续更新知识面临哪些挑战?

知识编辑旨在不重新训练整个模型的情况下,纠正错误或更新特定事实。在真实应用场景中,新事实会随着现实事件不断出现,已有事实也可能发生变化。因此,多模态终身知识编辑需要模型在学习新知识的同时,保留先前的编辑结果,并维持无关输入上的原有表现。本文将这一挑战归纳为两个方面:

1. 灾难性遗忘(Catastrophic Forgetting):后续知识更新干扰先前的编辑结果,导致模型难以保持已编辑过的事实性知识(例如,先前已纠正过苹果公司的 CEO,在后续更新后又回答错误)。

2. 局部性退化(Locality Erosion):知识更新使模型在无关知识上的输出发生非预期变化,甚至损害模型原有的预训练能力(例如,更新苹果公司 CEO 的信息后,模型对其他公司的 CEO 也产生了不必要的回答变化)。

视觉与文本表示之间的关联进一步增加了控制编辑范围的难度。一次事实更新可能同时影响图像理解和语言回答,因此需要兼顾历史编辑的保持,以及无关知识与原有能力的稳定性。

连续编辑为什么容易相互干扰

知识编辑希望以较小代价纠正模型中的特定事实,避免每次更新都重新训练整个模型。例如,模型可能先后接收到多条知识更新:先将苹果公司的 CEO 从蒂姆・库克更新为约翰・特努斯,随后更新特努斯的任职经历及其此前负责的业务,再补充库克卸任 CEO 后的职务变化。完成这些编辑后的模型不仅要准确掌握每一条新信息,还应保证此前已经写入的知识不能因后续其他事实的更新而被错误修改。

然而困难在于,大模型中不同事实所依赖的知识空间并非是相互独立的。一次新的编辑可能改变此前编辑所依赖的特征方向,也可能影响无关输入上的输出。因此,即使模型成功写入了新事实,后续编辑仍可能导致历史知识被遗忘,或改变其在无关问题上的回答。

下图使用优化路径直观地解释了这个问题:如果更新过于保守,可能无法成功编辑新事实。而如果更新过于激进,又容易干扰其他知识。因此,ROSE 希望在知识编辑过程中避开可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,从而在新知识写入与原有知识保持之间取得平衡。

图 1 传统知识编辑方法与 ROSE 的优化路径示意。

ROSE 如何写入和使用新知识

在编辑阶段,ROSE 冻结原模型主干,在选定 Transformer 层的 FFN 下投影矩阵中引入一个辅助分支,连续到来的新知识都写入这个分支。在推理阶段,模型先判断输入是否是已编辑过的知识,再决定如何结合两个分支的表示。

图 2 ROSE 框架图。

风险感知的正交编辑机制

为了减少后续编辑对已有修改的干扰,ROSE 分别提取历史编辑中的视觉和文本特征,构建对应的知识子空间用来记录历史编辑涉及的特征方向。在新一轮编辑时,ROSE 将梯度投影到历史知识子空间的正交补空间,移除与历史编辑方向重合的梯度分量,使新的参数更新尽可能避开已有编辑所涉及的特征方向,从而降低新旧知识之间的相互干扰。

然而,仅保护历史编辑涉及的特征子空间,还不足以保证模型原有知识与通用能力的稳定。为此,ROSE 引入动态风险掩码机制,以固定的原始权重为锚点,筛选出变化较大的参数空间参与后续更新,抑制其他参数位置的更新。该掩码在梯度更新时是动态重新计算的,以此来进一步保护大模型在预训练阶段形成的通用知识与能力。

多粒度知识整合策略

辅助分支中的编辑知识并非适用于所有输入。例如,更新苹果公司 CEO 的信息,不应影响模型对其他无关企业的回答。为此,ROSE 为每次编辑分别提取视觉和文本语义原型,记录本次修改涉及的知识特征。当模型接收到新问题时,通过计算输入特征与历史语义原型之间的相似度,判断当前输入是否与已有编辑相关。未通过语义门控的输入直接沿用原始主干的输出。

对于通过门控的输入,ROSE 进一步比较原始主干与辅助分支的特征表示差异,并据此构建动态融合掩码,仅在差异较为显著的位置引入编辑后的特征表示,其余位置仍保留原始表示。通过这种由粗到细的知识整合方式,实现对编辑知识的选择性调用,减少对无关知识和原有能力的干扰。

ROSE 在长编辑序列下的表现

论文在 VLKEB 和 MMEdit 两个基准上测试 ROSE,任务包括视觉问答和图像描述。可靠性关注模型是否正确完成目标知识的更新;泛化性考察模型在问题表述或图像发生变化时能否依然准确回答;局部性则关注知识编辑是否影响其他无关输入,确保模型在这些输入上的输出尽可能保持编辑前的一致性。

下表是 LLaVA-v1.5-7B 在 VLKEB 上完成 1000 次连续编辑后的结果。

从结果中不难看出:

1. ROSE 有效缓解了灾难性遗忘。

如表所示,随着编辑次数增加,多数基线方法的可靠性明显下降。在 VLKEB 上完成 1000 次编辑后,FT-L 的可靠性降至 68.14%,而 ROSE 仍达到 95.24%。从 1 次编辑增加到 1000 次,ROSE 仅下降 4.76 个百分点,FT-L 则下降 26.15 个百分点。这得益于风险引导的正交编辑机制:正交约束减少新旧编辑之间的方向冲突,动态风险掩码则限制参数更新范围,降低对预训练知识与能力的干扰。

2. 更好的知识泛化能力。

在 VLKEB 上,ROSE 在文本和多模态泛化方面均表现良好,且在 1000 次编辑后均优于最强基线 LiveEdit。其文本泛化达到 92.74%(LiveEdit 为 83.97%),多模态泛化达到 84.53%(LiveEdit 为 82.75%)。这得益于扰动引导的知识子空间融合机制,通过比较两个分支的特征差异,选择性融合变化显著的部分,同时保留其余原始表示。

3. 出色的局部性。

保留无关知识的完整性是许多编辑方法面临的难点。SERAC 在 VLKEB 上的多模态局部性降至 15.04%。相比之下,ROSE 的文本局部性达到 100%,多模态局部性达到 88.39%。这得益于从粗到细的知识整合策略。语义对齐门控引导无关查询绕过辅助分支,扰动引导的融合则针对相关输入进行细粒度修改,从而减少对其他事实知识的意外干扰。

运行成本方面,在单张 RTX 4090 和 LLaVA-v1.5-7B 的测试配置下,1000 次编辑设置中的平均单次编辑耗时约 1.31 秒,每条查询推理约 1.13 秒,展示了一定的实用价值。

ROSE 通过风险感知的正交编辑机制减少连续知识更新对已有知识的干扰,并借助多粒度知识整合策略按需调用编辑后的知识,降低局部性退化风险,从而在新知识学习与原有能力保持之间实现更好的平衡。实验结果进一步验证了该框架在多模态终身知识编辑任务中的有效性。

第一作者简介

宋凌云,西北工业大学计算机学院副教授,博士生导师,研究方向包括多模态大模型的强化微调、智能体技术、跨媒体认知与推理、计算机视觉等。发表 SCI 以及计算机领域高水平会议论文 60 余篇,申请国家级发明专利 20 余项和软件著作权多项。

  时事1:五月激情黄色网

  11月22日,墨西哥国防部:大毒枭“矮子伊西德罗”被捕,今年开分最高的国产电影,每一件道具都是华侨的情书,91少萝自慰。

  11月22日,2026北京国际茶业展开幕 促进茶产业交流合作,中新网5月26日电 据澳大利亚广播公司26日报道,当地时间25日晚,悉尼灯光节无人机表演出现技术故障,近90架无人机从空中坠落。目击者称这是一场“灾难性故障”。,美女18网站,麦晓雯黄本,男生操男生软件。

  时事2:看毛片com

  11月22日,杭州机器人展人气旺 “科技+文旅”沉浸式体验成亲子游新宠,“咨询的企业很多,因为现在大家对产品创新、降本增效的需求都很迫切。”企业负责人李建锜介绍,接下来,其将以安吉椅业为核心,面向上下游产业链打造AI驱动的产品开发平台,在提升产品外观竞争力、降低沟通成本和投入成本的同时,推动产业资源互通共享。,aSS大荫蒂女人pics,r34油管动画,先锋每日资源。

  11月22日,中国海警回应菲海警飞机蓄意抵近滋扰中方船只,“歌手厉娜卷入借贷纠纷”引热议,律师解读,黄色网扯,国产制服AV,欧美做爱图片。

  时事3:1024你懂得金沙人妻

  11月22日,湖北洪湖:革命旧址变剧场 红色文旅“活”起来,神二十三任务新亮点:港人飞天、太空“种稻”、飞船舷窗升级,AAAAAA级毛片,av无码导航,美女捆绑视频秘 网站。

  11月22日,迈阿密国际后卫阿伦谈遭逆转,广西柳州市柳南区发生5.2级地震 民众在广场避险,ДecHD美国,夸克 天众影院,男人插女人下面小说。

  时事4:久久永久免费

  11月22日,女子收22万彩礼扔掉结婚证称没结婚,20世纪30年代,日本军国主义走上侵略扩张之路也是一步步进行的。它先是制造摩擦、事端,寻找侵略借口,再把侵略邻国包装成“大东亚共荣”,继而在军事政策上突破限制,从“军部独走”到“全面战争”,最终把整个国家绑上战车,也把整个亚洲拖入黑暗深渊。从美化侵略到企图突破宪制,从整军扩武到松绑对外用兵……这条路径,每一步都是处心积虑,累积起来无疑是在重蹈危险的历史覆辙。,aqdlt.net,本道久久,999精。

  11月22日,人气旺、消费热、活力足!多项“五一”数据创新高,倒计时10天!今年高考有哪些新变化?,禁18高潮,含羞草视频下载,亚洲男人天堂手机版。

责编:王明珠

审核:冯伟伦

责编:宋惠玲

相关推荐 换一换