作者:吴美玉发布时间:2026-11-21 23:56:59 点击数:46129

昨日官方更新行业研究成果内蒙古又找到一座金矿 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

山东省聊城市茌平区山西省运城市夏县博尔塔拉蒙古自治州温泉县上海市市辖区嘉定区山西省忻州市定襄县阿克苏地区新和县吉林省白山市浑江区桂林市兴安县四川省乐山市陕西省西安市未央区贵州省铜仁市玉屏侗族自治县广东省深圳市江苏省南京市浦口区四川省广元市山东省泰安市泰山区赞皇县院头镇湖北省宜昌市宜都市青海省玉树藏族自治州治多县内蒙古锡林郭勒盟正镶白旗合肥市庐阳区山西省朔州市山阴县贵州省黔东南苗族侗族自治州天柱县亳州市利辛县江苏省徐州市丰县山西省吕梁市中阳县福建省福州市罗源县江苏省徐州市洛阳市汝阳县青海省玉树藏族自治州治多县江西省九江市武宁县广东省汕头市龙湖区山西省晋城市泽州县固原市西吉县朝阳区双井街道四川省甘孜藏族自治州山东省滨州市湖北省宜昌市宜都市濮阳市南乐县黑龙江省七台河市桃山区合肥市庐阳区云南省丽江市宁蒗彝族自治县井陉县吴家窑乡密云区不老屯镇开封市通许县江苏省连云港市赣榆区无极县大陈镇四川省凉山彝族自治州甘洛县怀柔区雁栖地区湖北省宜昌市西陵区蓟州区东赵各庄镇四川省甘孜藏族自治州江西省吉安市吉安县平山县岗南镇芜湖市南陵县蚌埠市龙子湖区平顶山市湛河区辽宁省沈阳市沈河区开封市通许县丰台区右安门街道四川省凉山彝族自治州甘洛县吉林省长春市双阳区四川省甘孜藏族自治州丹巴县山东省德州市齐河县和田地区广东省汕头市龙湖区云南省丽江市宁蒗彝族自治县上海市市辖区嘉定区青海省海北藏族自治州门源回族自治县元氏县山东省德州市齐河县平山县岗南镇山西省晋中市太谷区广东省珠海市斗门区贵州省铜仁市印江土家族苗族自治县四川省广元市山东省聊城市冠县陕西省商洛市山阳县湖北省恩施土家族苗族自治州恩施市云南省玉溪市新平彝族傣族自治县巴音郭楞蒙古自治州和硕县蓟州区东二营镇山西省晋中市榆社县长安区广安街道内蒙古呼伦贝尔市阿荣旗密云区不老屯镇四川省泸州市江阳区广东省汕头市龙湖区焦作市四川省甘孜藏族自治州泸定县福建省三明市梅列区四川省乐山市平顶山市卫东区崇左市宁明县青海省海北藏族自治州门源回族自治县芜湖市南陵县青秀区内蒙古锡林郭勒盟正镶白旗四川省广安市岳池县长安区广安街道合肥市瑶海区

今日行业报告更新研究成果SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

福建省厦门市海沧区吉林省长春市双阳区福建省莆田市仙游县朝阳区酒仙桥街道陕西省咸阳市兴平市怀柔区宝山镇重庆市市辖区北碚区静海区大邱庄镇四川省甘孜藏族自治州泸定县福建省南平市开封市通许县昌平区回龙观街道哈密市伊吾县固原市西吉县无极县大陈镇蓟州区东施古镇甘肃省兰州市昌平区延寿镇蚌埠市龙子湖区山东省枣庄市台儿庄区西城区月坛街道山西省晋城市高平市云南省红河哈尼族彝族自治州泸西县北辰区广源街道四川省宜宾市江安县四川省宜宾市江安县河东区东新街道昌平区回龙观街道平顶山市卫东区四川省宜宾市珙县甘肃省兰州市黑龙江省哈尔滨市巴彦县宝坻区牛家牌镇顺义区空港街道武清区上马台镇青海省玉树藏族自治州治多县大兴区顺义区空港街道鹿泉区寺家庄镇密云区高岭镇江西省萍乡市上栗县桥西区东华街道湖北省宜昌市夷陵区吉林省四平市铁西区山东省聊城市冠县桥西区苑东街道福建省三明市梅列区四川省广安市岳池县辽宁省朝阳市北票市云南省红河哈尼族彝族自治州泸西县桂林市秀峰区鹿泉区白鹿泉乡云南省红河哈尼族彝族自治州绿春县怀柔区雁栖地区河东区东新街道西城区月坛街道江苏省连云港市赣榆区福建省厦门市海沧区重庆市县巫山县河东区大直沽街道福建省南平市江苏省镇江市句容市四川省成都市双流区信阳市平桥区福建省漳州市龙海市甘肃省定西市渭源县上海市市辖区嘉定区鹿泉区寺家庄镇怀柔区宝山镇芜湖市南陵县广东省珠海市斗门区江西省萍乡市上栗县青海省玉树藏族自治州治多县北海市海城区南开区体育中心街道吉林省长春市双阳区内蒙古兴安盟乌兰浩特市平顶山市湛河区百色市田林县四川省遂宁市蓬溪县江苏省徐州市丰县山西省晋城市高平市云南省大理白族自治州云龙县陕西省宝鸡市千阳县博尔塔拉蒙古自治州温泉县怀柔区龙山街道丰台区长辛店镇陕西省汉中市留坝县江苏省镇江市句容市陕西省咸阳市兴平市行唐县龙州镇昌平区延寿镇静海区西翟庄镇山东省滨州市桥西区留营街道湖北省孝感市汉川市广东省惠州市龙门县朝阳区小红门地区吉林省长春市双阳区井陉县吴家窑乡

全球服务区域:广东省珠海市斗门区焦作市沁阳市河西区桃园街道平山县小觉镇四川省甘孜藏族自治州泸定县山西省临汾市安泽县黑龙江省大兴安岭地区呼玛县福建省福州市罗源县广东省汕头市南澳县重庆市县巫山县江西省萍乡市上栗县防城港市东兴市怀柔区龙山街道江西省赣州市石城县蚌埠市龙子湖区青秀区甘肃省甘南藏族自治州黑龙江省佳木斯市富锦市四川省宜宾市珙县山东省青岛市城阳区福建省三明市梅列区云南省红河哈尼族彝族自治州泸西县朝阳区小关街道西乡塘区西藏阿里地区日土县江苏省南通市启东市许昌市建安区黑龙江省佳木斯市富锦市山西省晋中市榆社县井陉县吴家窑乡福建省南平市建瓯市信阳市平桥区福建省厦门市湖里区长安区南村镇湖北省宜昌市宜都市长安区南村镇新乐市协神乡四川省德阳市广汉市辽宁省大连市旅顺口区防城港市东兴市山西省临汾市安泽县青海省海西蒙古族藏族自治州德令哈市赵县沙河店镇朝阳区豆各庄地区四川省遂宁市蓬溪县辽宁省朝阳市北票市平顶山市湛河区塔城地区和布克赛尔蒙古自治县平顶山市湛河区朝阳区双井街道辽宁省铁岭市开原市丰台区宛平城地区辽宁省朝阳市北票市昌平区阳坊镇广东省佛山市三水区塔城地区和布克赛尔蒙古自治县陕西省商洛市山阳县马鞍山市博望区四川省广安市岳池县福建省南平市广东省珠海市斗门区四川省成都市双流区甘肃省天水市秦州区贵州省六盘水市水城县平顶山市卫东区广东省广州市越秀区青海省海西蒙古族藏族自治州德令哈市贵州省黔南布依族苗族自治州惠水县四川省宜宾市珙县元氏县苏村乡山东省枣庄市台儿庄区隆安县平顶山市卫东区黑龙江省哈尔滨市巴彦县顺义区空港街道马鞍山市博望区元氏县青海省果洛藏族自治州鹿泉区白鹿泉乡银川市贺兰县武清区汊沽港镇云南省丽江市宁蒗彝族自治县四川省宜宾市珙县防城港市东兴市江苏省徐州市新沂市昌平区阳坊镇江苏省南通市启东市福建省南平市濮阳市南乐县辽宁省铁岭市开原市平山县宅北乡和田地区辽宁省沈阳市辽宁省辽阳市白塔区吉林省白山市浑江区山西省运城市夏县赵县沙河店镇四川省凉山彝族自治州甘洛县辽宁省沈阳市吉林省白山市浑江区

今日行业协会发布最新研究报告SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:朝阳区酒仙桥街道乌鲁木齐市沙依巴克区云南省丽江市宁蒗彝族自治县江苏省徐州市新沂市四川省乐山市福建省南平市建瓯市焦作市沁阳市山东省泰安市东平县福建省漳州市龙海市湖北省宜昌市西陵区广东省珠海市斗门区山西省晋中市太谷区山西省晋中市太谷区西藏山南市贡嘎县湖北省孝感市汉川市山西省晋中市太谷区辽宁省沈阳市山东省泰安市泰山区福建省南平市四川省宜宾市翠屏区焦作市沁阳市门头沟区大峪街道山西省晋中市灵石县丰台区长辛店镇陕西省汉中市留坝县武清区上马台镇辽宁省铁岭市清河区信阳市平桥区新乐市协神乡山西省忻州市宁武县开封市通许县吉林省白山市浑江区喀什地区麦盖提县江西省吉安市吉安县丰台区和义街道四川省宜宾市翠屏区北海市海城区江西省萍乡市上栗县广东省江门市赞皇县院头镇湖北省襄阳市襄州区平山县岗南镇南阳市内乡县崇左市四川省泸州市江阳区广东省汕头市龙湖区和平区南市街道防城港市东兴市黑龙江省鹤岗市四川省成都市金牛区辽宁省铁岭市开原市井陉县吴家窑乡元氏县殷村镇辽宁省沈阳市北辰区蓟州区东施古镇江苏省南通市启东市云南省红河哈尼族彝族自治州绿春县静海区西翟庄镇四川省遂宁市蓬溪县辽宁省铁岭市开原市合肥市瑶海区四川省甘孜藏族自治州内蒙古鄂尔多斯市鄂托克旗蚌埠市龙子湖区和田地区青海省玉树藏族自治州治多县广东省佛山市三水区焦作市焦作市中站区四川省泸州市江阳区江西省宜春市宜丰县怀柔区雁栖地区山东省枣庄市台儿庄区山西省朔州市山阴县云南省丽江市宁蒗彝族自治县江西省九江市武宁县蓟州区东二营镇福建省福州市永泰县福建省三明市梅列区密云区不老屯镇江西省九江市武宁县辽宁省沈阳市浑南区福建省莆田市城厢区昌平区阳坊镇哈密市伊吾县湖北省孝感市汉川市焦作市福建省福州市罗源县青海省果洛藏族自治州四川省德阳市广汉市蓟州区东施古镇青海省海北藏族自治州门源回族自治县江苏省连云港市赣榆区赞皇县院头镇辽宁省铁岭市开原市四川省甘孜藏族自治州西藏山南市青海省玉树藏族自治州治多县上海市市辖区嘉定区

售后服务上门服务电话,智能分配单据:SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”

PRISM团队 投稿量子位 | 公众号 QbitAI

SFT之后,直接上强化学习就够了吗?

小心,你做的可能不是“训练”,而是“还债”。

在多模态大模型(MLLM)的后训练中,行业内长期遵循着一个看似天经地义的范式:先SFT,再RL,两步到位。

从DeepSeek到Qwen,从GRPO到DAPO,大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼:

SFT到RL之间,是不是少了点什么?

但来自香港科技大学(广州)、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现:

SFT不仅没有为RL铺好路,反而在悄悄挖坑。

被忽视的“隐形断层”:SFT到底做了什么?

先看一组比较有意思的数据(7个主流多模态benchmark的平均准确率):

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到,SFT之后,模型性能反而下降了。

8B 模型要更为明显一点:SFT掉了5.2个点,辛辛苦苦做完强化学习,才刚刚爬回基线(baseline)的水平(63.3%→58.1%→63.3%)。

也就是说,你的RL可能一直在“还债”,而不是在“提升”。

而且这绝不是个例。

在当下主流的强Instruct模型上(Qwen3-VL等),只要SFT数据带入一个与基座不一致的新分布(比如目前最常见的GPT/Gemini蒸馏数据)几乎都会观察到类似的掉点。

原因很直接:这类基座已经经过大规模、精细的后训练,能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布,结果就是用一个更“窄”的分布去覆盖一个更“广”的能力,旧能力被冲掉、新能力又没真正学到。

换句话说,模型越强、越接近实际部署的水平,SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题,是后训练里早已被反复讨论的分布漂移(Distributional Drift)。

但在多模态场景下,它有一套更隐蔽、也更难治的表现形式。

问题根源:SFT引入的两类偏差

SFT在多模态场景下,会引入两类容易被忽视的偏差:

偏差一:表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”:对模型来说,正确的推理步骤和格式化的模板套话,权重是一样的。

结果就是模型学会了“长得像”正确答案,而不是“想得出”正确答案。 它学到的是表面模式,而非忠实的推理能力。

偏差二:感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同,多模态模型的漂移不是单一的,而是两种定性不同的失败模式在同时发生:

感知漂移:视觉定位出错,模型“看错了”推理漂移:逻辑推导失败,模型“想歪了”

这两种漂移的成因不同、纠正方式不同,但SFT用同一个token loss把它们一起拟合。

而当RL阶段时,模型已经在感知和推理两端同时偏移,即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了?

从GRPO,到DAPO,再到GSPO,RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题:采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子:这里就好比你参加百米短跑,SFT不仅没有让你往前走,反而把你向后推了50米。

现有的RL算法都在研究怎么跑得更快,但起点还在坑里,而PRISM要做的,就是在SFT和RL之间补上这一步,不仅把你拉回起跑线,还顺势往前推一把,让RL只用跑50米就能冲线。

PRISM的核心方案:三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式,提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器(MoE Discriminator)

感知漂移和推理漂移是两类成因不同的偏差,需要分开处理。

PRISM为此设计了一个混合专家判别器,由两个专门化的专家组成:

感知专家D_v:专门评估视觉描述,测量模型的输出是否忠实于图像内容,解决感知漂移推理专家D_r:专门评估推理轨迹,测量逻辑推导是否一致有效,解决推理漂移

最终判别得分为两者的加权组合:

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号,避免将两种完全不同的误差模式塞进一个标量里,导致梯度信号变得嘈杂。

黑盒蒸馏:不需要教师logits

PRISM的另一个优雅之处在于:它是黑盒的。

很多蒸馏方法需要访问教师模型的logits(内部概率分布),这意味着你得有教师模型的完整权重。

但在实际场景中,最强的模型往往只提供API,你只能看到输出,看不到内部状态。

PRISM完全在响应级别工作:从强模型(Gemini 3 Flash)采集高质量输出作为正样本,从当前策略采样作为负样本,通过对抗博弈来对齐分布。

只要能调API,就能用PRISM。

一个重要的设计决策:去掉KL正则化

传统RL训练通常会加一个KL散度约束,防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单,对齐阶段的目的,就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束,本身就和这个目标相互矛盾。

分布演变:对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程:从Base到Post-SFT再到Post-Alignment,无论是推理步数还是视觉描述项数的分布,都在逐步向监督数据靠拢:

可以清晰看到:Post-SFT(蓝线)与Supervision(黑线)仍有明显偏差,而Post-Alignment(橙线)则大幅缩小了这一差距,且这种改进在Post-RLVR(绿线)阶段得以保持。

实验验证

在Qwen3-VL的4B和8B两个规模上,PRISM搭配GRPO/DAPO/GSPO三种主流RL算法,在4个数学推理基准(MathVista、MathVerse、MathVision、WeMath)和3个通用多模态基准(MMMU、MMMU-Pro、HallusionBench)上全面验证了有效性。

下表是论文Table 1的主结果(灰色行为PRISM):

从主表里能读出几个值得展开的信号:

(1)模型越强,PRISM的增益越大:8B拿到+6.0的平均提升,4B为+4.4,更强的基座被SFT“伤害”得更深,也因此从对齐中受益更多;

(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数(表中加粗),覆盖数学推理与通用视觉理解两类任务,这意味着对齐带来的不是某个领域的局部增益,而是分布层面的全局校准。

消融实验:每一步都不可或缺

从消融表(论文Table 2)里能直接读出每个组件的贡献:

(1)去掉SFT阶段直接掉16.8个点,说明SFT作为“冷启动”仍不可替代,PRISM不是要取代SFT,而是修复它带来的副作用;

(2)去掉对齐阶段掉4.4个点,与4B主表的提升幅度完全对应,是分布对齐效果的直接证据;

(3)单个4B判别器替代MoE掉3.4,仅文本判别器掉3.9。

后者尤为有趣:没有视觉感知的判别器只能捕捉表面模式(格式、模板、风格),导致策略学会了“鹦鹉学舌式对齐”,听起来像监督数据,但实际上看不到所描述的内容。

PRISM的出现,给多模态大模型的后训练范式打上了一个“补丁”,但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接,而是存在一道被长期忽略的分布断层。RL算法再强,如果起点就歪了,跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步,未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上,模型自然会跑得更稳。

Arxiv:https://arxiv.org/abs/2604.28123

Github:https://github.com/XIAO4579/PRISM

合作详询:swang886@connect.hkust-gz.edu.cn

本月官方更新行业研究报告SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”

PRISM团队 投稿量子位 | 公众号 QbitAI

SFT之后,直接上强化学习就够了吗?

小心,你做的可能不是“训练”,而是“还债”。

在多模态大模型(MLLM)的后训练中,行业内长期遵循着一个看似天经地义的范式:先SFT,再RL,两步到位。

从DeepSeek到Qwen,从GRPO到DAPO,大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼:

SFT到RL之间,是不是少了点什么?

但来自香港科技大学(广州)、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现:

SFT不仅没有为RL铺好路,反而在悄悄挖坑。

被忽视的“隐形断层”:SFT到底做了什么?

先看一组比较有意思的数据(7个主流多模态benchmark的平均准确率):

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到,SFT之后,模型性能反而下降了。

8B 模型要更为明显一点:SFT掉了5.2个点,辛辛苦苦做完强化学习,才刚刚爬回基线(baseline)的水平(63.3%→58.1%→63.3%)。

也就是说,你的RL可能一直在“还债”,而不是在“提升”。

而且这绝不是个例。

在当下主流的强Instruct模型上(Qwen3-VL等),只要SFT数据带入一个与基座不一致的新分布(比如目前最常见的GPT/Gemini蒸馏数据)几乎都会观察到类似的掉点。

原因很直接:这类基座已经经过大规模、精细的后训练,能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布,结果就是用一个更“窄”的分布去覆盖一个更“广”的能力,旧能力被冲掉、新能力又没真正学到。

换句话说,模型越强、越接近实际部署的水平,SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题,是后训练里早已被反复讨论的分布漂移(Distributional Drift)。

但在多模态场景下,它有一套更隐蔽、也更难治的表现形式。

问题根源:SFT引入的两类偏差

SFT在多模态场景下,会引入两类容易被忽视的偏差:

偏差一:表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”:对模型来说,正确的推理步骤和格式化的模板套话,权重是一样的。

结果就是模型学会了“长得像”正确答案,而不是“想得出”正确答案。 它学到的是表面模式,而非忠实的推理能力。

偏差二:感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同,多模态模型的漂移不是单一的,而是两种定性不同的失败模式在同时发生:

感知漂移:视觉定位出错,模型“看错了”推理漂移:逻辑推导失败,模型“想歪了”

这两种漂移的成因不同、纠正方式不同,但SFT用同一个token loss把它们一起拟合。

而当RL阶段时,模型已经在感知和推理两端同时偏移,即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了?

从GRPO,到DAPO,再到GSPO,RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题:采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子:这里就好比你参加百米短跑,SFT不仅没有让你往前走,反而把你向后推了50米。

现有的RL算法都在研究怎么跑得更快,但起点还在坑里,而PRISM要做的,就是在SFT和RL之间补上这一步,不仅把你拉回起跑线,还顺势往前推一把,让RL只用跑50米就能冲线。

PRISM的核心方案:三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式,提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器(MoE Discriminator)

感知漂移和推理漂移是两类成因不同的偏差,需要分开处理。

PRISM为此设计了一个混合专家判别器,由两个专门化的专家组成:

感知专家D_v:专门评估视觉描述,测量模型的输出是否忠实于图像内容,解决感知漂移推理专家D_r:专门评估推理轨迹,测量逻辑推导是否一致有效,解决推理漂移

最终判别得分为两者的加权组合:

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号,避免将两种完全不同的误差模式塞进一个标量里,导致梯度信号变得嘈杂。

黑盒蒸馏:不需要教师logits

PRISM的另一个优雅之处在于:它是黑盒的。

很多蒸馏方法需要访问教师模型的logits(内部概率分布),这意味着你得有教师模型的完整权重。

但在实际场景中,最强的模型往往只提供API,你只能看到输出,看不到内部状态。

PRISM完全在响应级别工作:从强模型(Gemini 3 Flash)采集高质量输出作为正样本,从当前策略采样作为负样本,通过对抗博弈来对齐分布。

只要能调API,就能用PRISM。

一个重要的设计决策:去掉KL正则化

传统RL训练通常会加一个KL散度约束,防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单,对齐阶段的目的,就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束,本身就和这个目标相互矛盾。

分布演变:对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程:从Base到Post-SFT再到Post-Alignment,无论是推理步数还是视觉描述项数的分布,都在逐步向监督数据靠拢:

可以清晰看到:Post-SFT(蓝线)与Supervision(黑线)仍有明显偏差,而Post-Alignment(橙线)则大幅缩小了这一差距,且这种改进在Post-RLVR(绿线)阶段得以保持。

实验验证

在Qwen3-VL的4B和8B两个规模上,PRISM搭配GRPO/DAPO/GSPO三种主流RL算法,在4个数学推理基准(MathVista、MathVerse、MathVision、WeMath)和3个通用多模态基准(MMMU、MMMU-Pro、HallusionBench)上全面验证了有效性。

下表是论文Table 1的主结果(灰色行为PRISM):

从主表里能读出几个值得展开的信号:

(1)模型越强,PRISM的增益越大:8B拿到+6.0的平均提升,4B为+4.4,更强的基座被SFT“伤害”得更深,也因此从对齐中受益更多;

(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数(表中加粗),覆盖数学推理与通用视觉理解两类任务,这意味着对齐带来的不是某个领域的局部增益,而是分布层面的全局校准。

消融实验:每一步都不可或缺

从消融表(论文Table 2)里能直接读出每个组件的贡献:

(1)去掉SFT阶段直接掉16.8个点,说明SFT作为“冷启动”仍不可替代,PRISM不是要取代SFT,而是修复它带来的副作用;

(2)去掉对齐阶段掉4.4个点,与4B主表的提升幅度完全对应,是分布对齐效果的直接证据;

(3)单个4B判别器替代MoE掉3.4,仅文本判别器掉3.9。

后者尤为有趣:没有视觉感知的判别器只能捕捉表面模式(格式、模板、风格),导致策略学会了“鹦鹉学舌式对齐”,听起来像监督数据,但实际上看不到所描述的内容。

PRISM的出现,给多模态大模型的后训练范式打上了一个“补丁”,但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接,而是存在一道被长期忽略的分布断层。RL算法再强,如果起点就歪了,跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步,未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上,模型自然会跑得更稳。

Arxiv:https://arxiv.org/abs/2604.28123

Github:https://github.com/XIAO4579/PRISM

合作详询:swang886@connect.hkust-gz.edu.cn


中新网西宁5月16日电 (李隽)15日晚,“西海2261·河湟文化大集”(以下简称“文化大集”)开集盛典在青海省会西宁举行。现场设置的四大特色互动点位,以及同步开展的NPC巡游活动,带领民众感受本土人文风情。 久久大香蕉-久久大香蕉最新版N.11.67.24-2265安卓网 内蒙古又找到一座金矿
内蒙古又找到一座金矿

内蒙古又找到一座金矿

百万最新免费软件游戏

下载

内蒙古又找到一座金矿
首页>>桂林老国企牵手院士团队 攻关高端铜基材料关键工艺
内蒙古又找到一座金矿

内蒙古又找到一座金矿

「活动」首次登录送19元红包

16.34MB
版本{版本}
下载APK高速下载
下载再SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”安装你想要的应用 更方便 更快捷 发现更多
喜欢30%好评(36人)
评论73
SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图0SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图1SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图2SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图3SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图4
详细信息
  • 软件大小:56.16MB
  • 最后更新:2026-11-21 23:56:59
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-AndroidSFT别急着接RL!你的多模态大模型可能一直在“带伤训练”
  • 使用语言:中文
  • :需要联网
  • 系统要求:6.86以上
应用介绍
🚫第一步:访问《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》官网👉首先,打开您的浏览器,输入《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》。您可以通过搜索引擎搜索或直接输入网址来访问.🔰
🚫第二步:点击注册按钮👉一旦进入《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。🥢️
🚫第三步:填写注册信息 👉在注册页面上,您需要填写一些必要的个人信息来创建《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。☸️
🚫第四步:验证账户👉填写完个人信息后,您可能需要进行账户验证。《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。💹
🚫第五步:设置安全选项👉《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。🥑
🚫第六步:阅读并同意条款👉在注册过程中,《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。🍰️
🚫第七步:完成注册👉一旦您完成了所有必要的步骤,并同意了《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站的条款,恭喜您!您已经成功注册了《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站账户。现在,您可以畅享《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!🐞
【联系我们】
客服热线
加载更多
版本更新
{版本}
SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”
  • 国际社会不能被日本的核伪装欺骗(钟声)
  • 湖北荆州:房屋被洪水围困 消防指战员将群众转移上岸
  • 内蒙古巴丹吉林沙漠骆驼冬季转场
  • 浙江省三大科创高地2025年度发展报告发布
  • 原创话剧《济世》长沙首演 战火里的温情与坚守打动观众
  • 积极寻求各方参与APEC经贸合作的“最大公约数”——商务部相关负责人解读2026年亚太经合组织贸易部长会议成果
  • 台退将怒批民进党高额军购案
  • 近五百名“武林人士”齐聚武当 以武会友纪念张三丰
  • 新任联合国驻华协调员杰思衡:在烟火气中感受中国 携手推动世界可持续发展
  • 女子节食减肥4年从178斤暴瘦到50斤
  • 外交部:中美双方可以通过加强合作促进各自发展振兴
  • 中国载人飞船首次完成3.5小时径向交会对接
  • 甘肃庆阳宁县:持续巩固提升全省民族团结进步示范县创建成果
  • 红果短剧上线时间管理功能 支持自定义观剧时长

    投了长鑫科技 合肥赚了一个合肥

    团播市场有望冲至400亿元

    详情
查看更多
加载中加载中,请稍等...

SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”类似软件

  • 广西柳州文博旅游艺术月推出近60项活动打造文化与味蕾盛宴智能机器人上门做保洁

    森林狼力克马刺总比分2-2

  • 天津“五一”首日重点商贸企业客流同比增长7%种下“懒庄稼” 富了“勤快人”——记“中国黄精之乡”十八年产业路

    山西沁源矿难新闻发布会现场 长治市长鞠躬致歉

  • 湖南石门暴雨1.6万余人安全转移广西实现县级中医医疗机构全覆盖 优质资源下沉基层

    “人工智能+”走向规模化落地

  • 土耳其专家阿蒂利:中国将生态保护“义务”变为产业发展“机遇”|新闻会客厅打了网红“气血针”,能否“一针提神”?专家提醒

    商务部部长王文涛就举办亚太经合组织贸易部长会议接受采访

  • 吉林长春:伪满皇宫博物院古丁香引客来一颗荔枝,凭啥拍出8.8万元高价?

    “探索一号”科考船抵达广州 取得多项重要科学发现

  • 经纬线·习主席的老朋友访华,共同擘画中俄关系新蓝图台官员否认美不支持“台独”时宕机

    张雪机车820RR-RS强在哪里

  • 尝海鲜、逛美食街……特色餐饮消费为假日文旅市场注入活力华裔Z视界|见证中国速度!华裔青年那些难忘的留学“第一次”

    华电新能发行30亿可续期公司债券

  • 中美元首会晤在即 专家:美方有责任慎重处理台湾问题西藏那曲拍摄制作《长江第一滴水》《江河源》两部纪录片 共探江河源头

    河南周口:小麦灌浆管护忙

  • 香港学子走进延安开启研学之旅高端访谈丨塞尔维亚总统武契奇:塞中“铁杆友谊”坚不可摧

    陈茂波:香港经济基调良好前景正面 有助吸引更多国际长期资金投资

  • “民营企业进边疆·辽宁行”大会将启 全国民企大咖齐聚丹东谋发展名记:勇士正在寻求续约库里

    哈萨克斯坦首都民众纪念卫国战争胜利81周年

  • 多地部队开展防汛救援演练专家:“台独”史观向日本右翼靠拢,是在台湾民众伤口上撒盐

    金观平:破解难点做优金融服务

  • 小伙弄丢免费领养的猫被要求赔2万英国副首相称首相斯塔默不会辞职

    第23届东博会全球推介路演走进印尼

  • 高校学子,需要怎样的“生活教育课”部分航线机票价格是之前的零头

    我驻美使馆举办开放日暨陕西省推介活动

  • 广东水利防汛Ⅳ级应急响应启动 部分河流已现超警洪水杭州建成无堂食外卖聚集区42个 守护民众舌尖上的安全

    中国官方正筹备第二次全国可移动文物普查

  • 中俄“两国五城”在跨境产业等方面深化务实合作我国成功发射卫星互联网低轨30组卫星

    飞猪:五一首日酒店间夜量创新高

  • 民警3倍“比耶”回应小偷挑衅“茶和天下·美美与共”主题活动亮相雅加达

    山东日照:“邻BA”社区三人篮球赛火热开打

  • 光大期货:5月20日金融日报中国大百科全书出版社在罗马大学设立“中国百科书架”

    习近平对山西长治市沁源县一煤矿瓦斯爆炸事故作出重要指示

  • 房子没盖完钢筋发芽了 当事人发声2023年以来河北累计引进央企总部及二、三级子公司超800家

    湖南石门强降雨灾害已致1人死亡、2人失联

  • 2025年度“中国人文学术十大热点”发布宁夏隆德:好环境聚八方客 六盘山下兴实业

    德国院士葛兴福:德中优势互补可产生“叠加效应”

  • 吴宜泽4比5不敌希金斯大美边疆看我家丨黑龙江牡丹江:记录边疆小城的烟火日常

    王毅向媒体介绍中美元首会晤情况和共识

  • 美国:佛罗里达州立大学枪击事件 受害者家属起诉称ChatGPT是“帮凶”伊朗媒体:美伊波斯湾交火目前已停 地区类似冲突可能重燃

    何立峰会见德国联邦经济和能源部部长赖歇一行

  • “铁杆友谊”彰显中国外交的鲜明底色西藏展团北京科博会亮“高”科技

    甘肃临夏花样“五一”: 簪花公交与牡丹仙子同游 解锁城市浪漫色彩

  • 在深圳,读懂亚太工商界人士的“心头事”三分之一进口榴莲来自磨憨口岸

    “手搓”微缩世界,方寸间跑出创业新赛道

  • 上海侨界观影侧记:一纸侨批连山海 光影传情聚侨心时隔22年 中国U17男足再次闯入亚洲杯决赛

    产业规模破万亿元!高铁直达、夜场升级,冰雪消费提前升温

  • 谁在为特朗普的“正义”买单仁度生物:筹划控制权变更 股票停牌

    蓝盈莹入院切除扁桃体

  • 央行定于5月10日发行2026吉祥文化金银纪念币一套胖东来粽子多收0.4元 退款200.4元

    罗东川:把一张张“民生清单” 变成家家户户的“幸福账单”

  • 山河凝秀色 青绿满高原——西藏统筹推进山水林田湖草沙一体化保护和修复英国媒体报道称:索伦特海峡检出高浓度“永久性化学物质”

    光大期货:5月19日农产品日报

  • 多空分歧加剧 百亿资金净流出(走进中国乡村)科技助眠出圈 安徽广德打造康养“梦乡”

    儿童牙膏乱象调查

  • 柳州地震有居民把猪带下楼避险一习话·人民之心丨“先做学生,吃透情况” 习近平的调研之道

    埃博拉疫情持续蔓延 非洲启动3.19亿美元抗疫计划

  • 国家统计局:6月和11月将开展人口固定样本跟访调查李晓旭结束21年职业生涯

    中俄高校共建工业智能国际联合实验室

  • 为何刘涛是妈祖文化全球推广大使?四川天全:晨雾青山梯田 邂逅清晨的“千里江山”

    造假摆拍,无底线博流量!北京警方通报3起典型案例

  • 约5万亿元投资!我国城市地下管网规模全球第一【小新的Vlog】骑马摔跤品草原美食 南北双草原“牵手”举办那达慕大会

    中国驻德国使馆举办2026年中德经济界招待会

  • 衣物混洗真的会越洗越脏加厚塑料袋不去皮等于32只河虾

    热区高校联盟成员扩至121家 多国校长冀望多领域深化合作

  • 加力提升未落户常住人口基本公共服务水平“广东服务”何以亮剑争锋?

    何为青年?他们这样回答

  • 国内首次深部地下空间产业研讨会在成都召开 共探“第四国土”战略开发香港航天员训练时学会地道东北话

    激活城市宜居新空间 口袋公园书写城市更新大文章

  • 车辆违规停放消防通道 被掉落瓷砖砸坏 损失谁来担兄弟“追箭”记:从爱好到事业,把热爱和梦想传递给更多人

    福建新一轮降雨开启

相关攻略
  • 4月马来西亚外贸同比大幅增长 槟城出口领跑全国
    2026-11-21 23:56:59
包含 饿了么 的应用集
  • (乡村行·看振兴)山西和顺:古法酿醋留住乡土味道 特色产业托起村民幸福生活 2026年“五一”假期国内出游3.25亿人次 黑龙江:入境客流增加激活文旅消费 带动边境经济
    “驾考科目加项难度翻倍”不实
    特朗普从中国返美途中发帖
    146367552139492026-11-21 23:56:59
  • 陕西修订文物保护条例 新增捐赠文物变动告知义务 第23届东博会全球推介路演(印尼站)成功举办 110件/套汉代中山国诸侯王墓出土文物在江西南昌展出
    航天员朱杨柱父亲:昨天心情还平稳些 今天特别特别激动
    特朗普称沃什可自定利率
    33137016649982026-11-21 23:56:59
  • 澳门特区立法会举办开放日活动 公众近距离了解立法会运作机制 武契奇参观小米汽车工厂 兰州“多巴胺”公交文创焕新 激活丝路文旅活力
    允许青春有“时差”,年轻人才有底气驶向奋斗的“旷野”
    吉林打造全球最大的“绿色液体燃料供应基地”
    5447766145135957472026-11-21 23:56:59
  • 九三学社邵阳市第九次代表大会召开 解密太空厨房里的中国制造密码 这家国民企业藏不住了 陆军野外应急抢修,出击!”
    宇树称会调整机甲售价
    国家发改委:紧急安排2000万元支持重庆严重洪涝和地质灾害灾后应急恢复
    9329557488689592026-11-21 23:56:59
  • 浙江杭海城际:青春之力筑防线 毫厘之间显担当 境外茶商安徽觅合作 广东出台“海洋牧场金融十条”赋能“蓝色粮仓”建设
    华媒观中国微短剧“出海潮”:乐见“侨”味爆款作品
    人民论坛网评 | “但民称便”方为好政绩
    679700754603872026-11-21 23:56:59
  • 美术生用拼多多在农村建共享菜园 《诗经》里的荇菜开满南京琵琶湖泛起金色花海 腾讯携手香港机电工程署举办AI编程小车比赛两地青年以科技促交流
    中方对无核武国家鼓吹拥核言论表示关切
    百亿元级私募机构已率先加仓
    394098730338502026-11-21 23:56:59
  • “中国有色金属之乡”甘肃“找矿”再突破 依法严格准入许可审查 市场监管总局启动认证机构提门槛专项行动 上海国际金融中心与国际科创中心建设如何“双向赋能”?
    为啥越来越多的人开始追求“活人感”?
    出发!朱杨柱、张志远、黎家盈三名航天员领命出征
    62319951006442026-11-21 23:56:59
  • 习近平同拉赫蒙会谈:今天再次同老朋友相聚 我感到很亲切 中越绿色产业国际合作对接交流活动在京举办 赣江上游支流发生超警洪水 赣州部分区县道路、车辆被淹
    中国企业如何从产品出海走向标准对接
    2026青海国际民族传统射箭精英赛系列赛火热开赛
    1697987179093313502026-11-21 23:56:59
  • (侨乡新貌)从华侨农场到华侨旅游经济区:海南兴隆小镇因侨而兴 5月14日央行开展5亿元7天期逆回购操作 新能源车销量:比亚迪吉利零跑前三
    吉林:产教融合发力 规模化培育低空经济技能人才
    【国际博物馆日】古今的奇妙共鸣 探秘博物馆里的“趣味”馆藏
    112275893088012026-11-21 23:56:59
  • 广州从化鳌头镇发生中等强度龙卷风 男子在飞机起飞后欲拉开应急舱门 航司通报 两岸企业家、学者畅谈文创发展:文化同根、产业相依,文创让我们走在一起
    网友散布涉“缅甸园区”谣言被罚
    赞比亚中资铜矿厂歌走红 赞比亚驻华大使:这是双方合作的生动成果
    717407156357092026-11-21 23:56:59
  • 驾培新国标落地:别混淆 驾培新国标不是驾驶员考试新规 四川新规从严规范殡葬服务收费 吉林启动世界计量日系列活动 筑牢信任守护市场公平
    北京曲剧《雷雨》观摩研讨会在京举办
    菲律宾司法部指示对参议员德拉罗萨执行逮捕令
    496471501195751962026-11-21 23:56:59
  • 墨西哥总统感谢中国女保镖 “五一”返程开启 这份铁路出行指南请收好 大兴安岭“猫冬”用漏盆下河捞鱼
    国家移民管理局:“五一”假期1127.9万人次出入境
    泰康人寿38岁全国销冠被刑拘
    34964210728887662026-11-21 23:56:59
  • 4月CPI同比上涨1.2% 全球媒体聚焦︱海外媒体:中塞“钢铁友谊”经受住了时间考验 酒店花式索要好评,“服务延伸”是否成个人信息保护新风险?
    “回响计划”建成42座多功能篮球场 捐赠体育器材逾1.8万件
    【图解】前4月新设外企超2万家 我国吸引外资新优势在哪?
    2562479272205288272026-11-21 23:56:59
  • 伊朗副外长警告法国和英国勿加剧危机 兰花“架”桥 香馥万里 经常失眠或早醒的人身体可能缺镁了
    东西问|岭南当地的三角梅、木棉,融入APEC经济体领导人的穿搭
    城市“落地签”成年轻人旅行新时尚
    616975782888222026-11-21 23:56:59
  • 呼和浩特公布中小学春假、秋假安排 毕业年级不放假 中央第四生态环境保护督察组进驻广东开展督察 多项大科学装置模型在武汉展出
    山货出山有“捷径” 浙江景宁“百村千播”唤醒乡村活力
    2026年海淀区家风家教主题宣传活动在京举行
    670612708107596162026-11-21 23:56:59
  • 民进党炒作“安鼠之乱”被群嘲 首届中国新文创市集北京启幕 电视剧《喀什恋歌》研讨会举行
    四部门:进一步做好创新药安全合理配备使用工作
    东京审判的法理定论不容否定
    8622581933816406702026-11-21 23:56:59
  • “中国珍珠之都”日均直播带货场次超8000场 公安部通报10起非法破解无人机案例 新华社评论员:共同开启中美关系新篇章
    把芍药做成春日时尚单品 盒马芍药再上新
    中宣部召开党的创新理论传播工程推进会
    821227907283022026-11-21 23:56:59
  • 中外人士徒步“南京安全区”致敬正义与大爱 10省市国省干线42个路段因降雨封闭管控 美俄元首为何接连访华
    “怀爱国之心、立报国之志、增强国之能”——新时代青年这样回答“爱国三问”
    【光明漫评】让文明出游成为“五一”最美的风景
    13578623238215672026-11-21 23:56:59
  • 4月马来西亚外贸同比大幅增长 槟城出口领跑全国 王沪宁会见格鲁吉亚议长 中美经贸关系释放合作共赢积极信号
    柳州地震最后1名被困人员获救
    九三学社海南省委员会赴安徽开展专题调研
    359982098706939602026-11-21 23:56:59
  • 专家:美国创下二战后最危险里程碑 “国家防总针对湖北、重庆启动防汛四级应急响应 为什么北方一下就热起来了
    传统产业如何玩出新花样?解锁平陆运河沿线的“香甜密码”
    青海启动“5·19中国旅游日”主题系列活动
    127471198677732026-11-21 23:56:59
  • 以色列对黎巴嫩袭击已造成超3000人死亡 保工期,致敬奋斗者!“五一”假期劳动者坚守岗位用实干创未来 科学家为无人机安装“氢能心脏”破解续航难题
    中国最高检挂牌督办湖南浏阳烟花爆炸重大责任事故案
    俄对乌发动报复性打击
    848644581349492026-11-21 23:56:59
  • 美新墨西哥州三人接触不明物质死亡 长三角初夏“热情”高涨 多地最高温冲刺35℃ 日本和平团体集会呼吁捍卫和平宪法
    中广核广东太平岭核电项目4号机组主体工程开工
    民众走进“江淮第一侨乡” 乐享五一假期
    57975701681445692026-11-21 23:56:59
  • 大美边疆看我家丨黑龙江漠河:奔赴一场夏日里的浪漫奇遇 东西问丨英国皇家工程院院士菲尔·泰勒:当“能源安全”从技术议题变为民生焦虑 重庆多只小鸟撞商场玻璃幕墙死亡
    台湾中医药业者盼借大陆经验互补共进
    上海致公青年思享会举行:书香润初心 青春话担当
    618925283576112026-11-21 23:56:59
友情链接
  • 国务院工作组赴广西柳州地震灾区指导工作
    2026-11-21 23:56:59
  • 9项科学实验将上行中国空间站 新思路、新手段、新亮点值得期待
    2026-11-21 23:56:59
  • 22岁吴宜泽斯诺克世锦赛夺冠
    2026-11-21 23:56:59
安卓手机网上最贴心的Android软件应用平台!版权所有:SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”有限公司备案号:京ICP备17065190号-1