作者:卢玉玲发布时间:2026-11-22 23:15:02 点击数:12805

昨日官方发布最新行业成果自媒体博主被判赔比亚迪200万 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

黑龙江省佳木斯市富锦市西藏阿里地区日土县山西省吕梁市中阳县青海省海北藏族自治州门源回族自治县甘肃省定西市渭源县重庆市县巫山县云南省文山壮族苗族自治州广南县云南省丽江市宁蒗彝族自治县辽宁省沈阳市浑南区湖北省宜昌市西陵区淮南市大通区福建省福州市永泰县蚌埠市蚌山区行唐县龙州镇福建省厦门市湖里区蓟州区东二营镇江西省宜春市宜丰县蚌埠市龙子湖区陕西省宝鸡市眉县陕西省商洛市山阳县阿克苏地区新和县福建省漳州市龙海市陕西省西安市未央区山东省聊城市冠县桥西区东华街道百色市田林县静海区西翟庄镇哈密市伊吾县山西省晋城市高平市丰台区长辛店镇湖北省襄阳市襄州区四川省遂宁市蓬溪县山西省晋中市榆社县福建省莆田市城厢区博尔塔拉蒙古自治州温泉县四川省广安市岳池县昌平区回龙观街道辽宁省朝阳市北票市山西省阳泉市平定县濮阳市南乐县江西省赣州市石城县怀柔区雁栖地区昌平区延寿镇福建省厦门市湖里区北辰区崇左市宁明县山东省威海市内蒙古呼伦贝尔市阿荣旗合肥市瑶海区朝阳区管庄地区井陉县测鱼镇巴音郭楞蒙古自治州和硕县新乐市协神乡内蒙古乌海市乌达区广东省深圳市江西省吉安市吉安县朝阳区豆各庄地区南阳市内乡县四川省乐山市陕西省汉中市留坝县福建省三明市梅列区青海省海南藏族自治州贵德县和田地区甘肃省天水市秦州区蓟州区东赵各庄镇山东省聊城市冠县鹿泉区寺家庄镇陕西省商洛市山阳县江西省景德镇市昌江区江西省赣州市石城县桥西区苑东街道辽宁省沈阳市沈河区北海市海城区赵县沙河店镇福建省厦门市湖里区昌平区阳坊镇黑龙江省佳木斯市富锦市福建省厦门市海沧区湖北省宜昌市宜都市内蒙古锡林郭勒盟正镶白旗福建省厦门市海沧区山东省威海市四川省甘孜藏族自治州九龙县朝阳区酒仙桥街道平山县岗南镇山东省聊城市茌平区井陉县测鱼镇贵州省安顺市普定县云南省西双版纳傣族自治州勐腊县云南省丽江市宁蒗彝族自治县四川省宜宾市江安县南开区长虹街道上海市市辖区嘉定区陕西省汉中市留坝县福建省莆田市城厢区巴音郭楞蒙古自治州和硕县江西省吉安市永新县银川市贺兰县吉林省长春市双阳区朝阳区酒仙桥街道

本月行业协会发布重磅通报SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

蓟州区东二营镇马鞍山市博望区昌平区延寿镇广东省佛山市三水区西藏阿里地区日土县西青区精武镇云南省红河哈尼族彝族自治州泸西县朝阳区双井街道江苏省苏州市相城区江苏省苏州市相城区陕西省西安市未央区山西省晋城市泽州县四川省乐山市鹿泉区白鹿泉乡福建省福州市永泰县陕西省咸阳市兴平市马鞍山市博望区隆安县西城区月坛街道贵州省铜仁市玉屏侗族自治县焦作市沁阳市重庆市市辖区北碚区蚌埠市蚌山区防城港市东兴市山东省泰安市东平县云南省玉溪市新平彝族傣族自治县江西省萍乡市上栗县山东省淄博市临淄区江西省吉安市吉安县密云区古北口镇四川省遂宁市蓬溪县四川省凉山彝族自治州西昌市四川省甘孜藏族自治州九龙县武清区汊沽港镇四川省广元市吉林省长春市双阳区吉林省四平市铁西区甘肃省天水市秦州区和平区南市街道江苏省南京市浦口区焦作市山西省晋中市灵石县朝阳区双井街道黑龙江省七台河市桃山区南阳市内乡县四川省凉山彝族自治州昭觉县山东省青岛市城阳区湖北省孝感市汉川市四川省成都市金牛区西藏拉萨市达孜区江苏省南京市浦口区元氏县马鞍山市博望区江西省景德镇市昌江区山西省晋中市太谷区北辰区广源街道山东省聊城市茌平区福建省莆田市仙游县甘肃省甘南藏族自治州湖北省宜昌市宜都市朝阳区小关街道陕西省汉中市西乡县福建省福州市罗源县湖北省恩施土家族苗族自治州建始县百色市田林县大兴区江苏省徐州市丰县焦作市中站区湖北省宜昌市秭归县江西省赣州市石城县甘肃省天水市秦州区四川省成都市金牛区湖北省宜昌市秭归县辽宁省朝阳市北票市朝阳区小关街道黑龙江省佳木斯市汤原县陕西省商洛市山阳县山东省滨州市海南省三沙市西沙区山西省朔州市山阴县门头沟区大峪街道内蒙古兴安盟乌兰浩特市西城区天桥街道北辰区蓟州区东赵各庄镇福建省南平市建瓯市焦作市沁阳市福建省南平市广东省云浮市新兴县海南省三沙市西沙区福建省福州市罗源县四川省成都市金牛区江苏省徐州市丰县平顶山市卫东区桂林市兴安县江苏省苏州市相城区丰台区右安门街道云南省普洱市景东彝族自治县陕西省西安市未央区山西省阳泉市平定县

全球服务区域:四川省成都市双流区青海省果洛藏族自治州福建省三明市梅列区和田地区山西省吕梁市岚县辽宁省朝阳市北票市平山县东回舍镇桥西区留营街道江西省吉安市永新县陕西省汉中市留坝县重庆市市辖区北碚区静海区西翟庄镇甘肃省陇南市福建省福州市罗源县湖北省宜昌市西陵区青海省果洛藏族自治州云南省怒江傈僳族自治州福贡县顺义区空港街道昌平区阳坊镇朝阳区小关街道青海省海西蒙古族藏族自治州德令哈市江西省宜春市宜丰县四川省宜宾市珙县桂林市秀峰区北海市海城区福建省漳州市龙海市桥西区留营街道甘肃省白银市景泰县江苏省苏州市相城区合肥市庐阳区南阳市内乡县山西省运城市夏县芜湖市南陵县焦作市沁阳市江西省赣州市石城县湖北省襄阳市襄州区元氏县殷村镇和田地区焦作市沁阳市山东省潍坊市青州市桂林市秀峰区山东省烟台市龙口市井陉县测鱼镇平顶山市湛河区吉林省长春市双阳区山东省威海市内蒙古乌海市乌达区密云区不老屯镇山西省忻州市宁武县昌平区小汤山镇南开区体育中心街道山东省枣庄市台儿庄区延庆区康庄镇陕西省宝鸡市千阳县福建省漳州市龙海市福建省南平市建瓯市北辰区焦作市中站区和田地区山西省忻州市宁武县山西省晋中市太谷区乌鲁木齐市沙依巴克区平山县小觉镇洛阳市汝阳县合肥市庐阳区桂林市秀峰区黑龙江省绥化市明水县江苏省连云港市赣榆区河东区大直沽街道广东省云浮市新兴县内蒙古鄂尔多斯市康巴什区山东省东营市垦利区黑龙江省七台河市桃山区伊犁哈萨克自治州昭苏县南开区长虹街道山东省潍坊市青州市大兴区亳州市利辛县广东省惠州市龙门县四川省泸州市江阳区山东省烟台市牟平区马鞍山市博望区平山县岗南镇芜湖市南陵县崇左市宁明县西乡塘区山西省吕梁市岚县西藏山南市贡嘎县北辰区广源街道井陉县吴家窑乡山西省临汾市安泽县山东省滨州市吉林省白山市浑江区江西省赣州市石城县海淀区青龙桥街道桥西区东华街道桂林市兴安县黑龙江省鹤岗市四川省成都市金牛区江苏省连云港市赣榆区

刚刚官方渠道传达新政策变化SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:湖北省襄阳市襄州区焦作市沁阳市辽宁省锦州市义县黑龙江省鸡西市鸡冠区湖北省恩施土家族苗族自治州建始县伊犁哈萨克自治州昭苏县密云区不老屯镇辽宁省铁岭市开原市陕西省宝鸡市千阳县江苏省徐州市怀柔区龙山街道辽宁省本溪市溪湖区四川省凉山彝族自治州甘洛县云南省怒江傈僳族自治州福贡县井陉县测鱼镇江苏省连云港市赣榆区福建省南平市建瓯市蓟州区东赵各庄镇山东省淄博市临淄区平山县宅北乡云南省西双版纳傣族自治州勐腊县塔城地区和布克赛尔蒙古自治县延庆区沈家营镇贵州省黔南布依族苗族自治州惠水县钦州市隆安县福建省南平市建瓯市陕西省汉中市南郑区元氏县殷村镇甘肃省庆阳市镇原县福建省漳州市龙海市辽宁省沈阳市沈河区河东区东新街道博尔塔拉蒙古自治州温泉县西城区月坛街道吉林省白山市浑江区黑龙江省佳木斯市汤原县陕西省宝鸡市千阳县江苏省连云港市赣榆区门头沟区大峪街道江西省宜春市宜丰县海南省儋州市云南省红河哈尼族彝族自治州绿春县甘肃省白银市景泰县海南省三沙市西沙区赞皇县西龙门乡湖北省宜昌市宜都市银川市贺兰县平山县东回舍镇西城区天桥街道怀柔区宝山镇密云区不老屯镇江西省景德镇市昌江区辽宁省大连市旅顺口区山西省临汾市安泽县四川省甘孜藏族自治州九龙县黑龙江省绥化市明水县蓟州区东施古镇山东省滨州市南开区体育中心街道西藏山南市贡嘎县江西省萍乡市上栗县防城港市东兴市密云区河南寨镇湖北省恩施土家族苗族自治州建始县井陉县测鱼镇百色市靖西市门头沟区大峪街道隆安县四川省甘孜藏族自治州泸定县广东省汕头市龙湖区四川省宜宾市翠屏区静海区大邱庄镇贵州省黔东南苗族侗族自治州天柱县河东区大直沽街道内蒙古锡林郭勒盟镶黄旗山西省晋城市泽州县密云区古北口镇吉林省长春市双阳区平山县小觉镇宝坻区牛家牌镇重庆市市辖区北碚区密云区古北口镇甘肃省陇南市长安区南村镇贵州省铜仁市玉屏侗族自治县四川省成都市双流区西青区精武镇海南省儋州市辽宁省大连市旅顺口区南阳市内乡县昌平区回龙观街道崇左市宁明县西城区天桥街道静海区西翟庄镇陕西省西安市未央区内蒙古兴安盟乌兰浩特市辽宁省本溪市溪湖区青海省海西蒙古族藏族自治州德令哈市信阳市平桥区

售后服务上门服务电话,智能分配单据:SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”

PRISM团队 投稿量子位 | 公众号 QbitAI

SFT之后,直接上强化学习就够了吗?

小心,你做的可能不是“训练”,而是“还债”。

在多模态大模型(MLLM)的后训练中,行业内长期遵循着一个看似天经地义的范式:先SFT,再RL,两步到位。

从DeepSeek到Qwen,从GRPO到DAPO,大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼:

SFT到RL之间,是不是少了点什么?

但来自香港科技大学(广州)、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现:

SFT不仅没有为RL铺好路,反而在悄悄挖坑。

被忽视的“隐形断层”:SFT到底做了什么?

先看一组比较有意思的数据(7个主流多模态benchmark的平均准确率):

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到,SFT之后,模型性能反而下降了。

8B 模型要更为明显一点:SFT掉了5.2个点,辛辛苦苦做完强化学习,才刚刚爬回基线(baseline)的水平(63.3%→58.1%→63.3%)。

也就是说,你的RL可能一直在“还债”,而不是在“提升”。

而且这绝不是个例。

在当下主流的强Instruct模型上(Qwen3-VL等),只要SFT数据带入一个与基座不一致的新分布(比如目前最常见的GPT/Gemini蒸馏数据)几乎都会观察到类似的掉点。

原因很直接:这类基座已经经过大规模、精细的后训练,能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布,结果就是用一个更“窄”的分布去覆盖一个更“广”的能力,旧能力被冲掉、新能力又没真正学到。

换句话说,模型越强、越接近实际部署的水平,SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题,是后训练里早已被反复讨论的分布漂移(Distributional Drift)。

但在多模态场景下,它有一套更隐蔽、也更难治的表现形式。

问题根源:SFT引入的两类偏差

SFT在多模态场景下,会引入两类容易被忽视的偏差:

偏差一:表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”:对模型来说,正确的推理步骤和格式化的模板套话,权重是一样的。

结果就是模型学会了“长得像”正确答案,而不是“想得出”正确答案。 它学到的是表面模式,而非忠实的推理能力。

偏差二:感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同,多模态模型的漂移不是单一的,而是两种定性不同的失败模式在同时发生:

感知漂移:视觉定位出错,模型“看错了”推理漂移:逻辑推导失败,模型“想歪了”

这两种漂移的成因不同、纠正方式不同,但SFT用同一个token loss把它们一起拟合。

而当RL阶段时,模型已经在感知和推理两端同时偏移,即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了?

从GRPO,到DAPO,再到GSPO,RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题:采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子:这里就好比你参加百米短跑,SFT不仅没有让你往前走,反而把你向后推了50米。

现有的RL算法都在研究怎么跑得更快,但起点还在坑里,而PRISM要做的,就是在SFT和RL之间补上这一步,不仅把你拉回起跑线,还顺势往前推一把,让RL只用跑50米就能冲线。

PRISM的核心方案:三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式,提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器(MoE Discriminator)

感知漂移和推理漂移是两类成因不同的偏差,需要分开处理。

PRISM为此设计了一个混合专家判别器,由两个专门化的专家组成:

感知专家D_v:专门评估视觉描述,测量模型的输出是否忠实于图像内容,解决感知漂移推理专家D_r:专门评估推理轨迹,测量逻辑推导是否一致有效,解决推理漂移

最终判别得分为两者的加权组合:

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号,避免将两种完全不同的误差模式塞进一个标量里,导致梯度信号变得嘈杂。

黑盒蒸馏:不需要教师logits

PRISM的另一个优雅之处在于:它是黑盒的。

很多蒸馏方法需要访问教师模型的logits(内部概率分布),这意味着你得有教师模型的完整权重。

但在实际场景中,最强的模型往往只提供API,你只能看到输出,看不到内部状态。

PRISM完全在响应级别工作:从强模型(Gemini 3 Flash)采集高质量输出作为正样本,从当前策略采样作为负样本,通过对抗博弈来对齐分布。

只要能调API,就能用PRISM。

一个重要的设计决策:去掉KL正则化

传统RL训练通常会加一个KL散度约束,防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单,对齐阶段的目的,就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束,本身就和这个目标相互矛盾。

分布演变:对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程:从Base到Post-SFT再到Post-Alignment,无论是推理步数还是视觉描述项数的分布,都在逐步向监督数据靠拢:

可以清晰看到:Post-SFT(蓝线)与Supervision(黑线)仍有明显偏差,而Post-Alignment(橙线)则大幅缩小了这一差距,且这种改进在Post-RLVR(绿线)阶段得以保持。

实验验证

在Qwen3-VL的4B和8B两个规模上,PRISM搭配GRPO/DAPO/GSPO三种主流RL算法,在4个数学推理基准(MathVista、MathVerse、MathVision、WeMath)和3个通用多模态基准(MMMU、MMMU-Pro、HallusionBench)上全面验证了有效性。

下表是论文Table 1的主结果(灰色行为PRISM):

从主表里能读出几个值得展开的信号:

(1)模型越强,PRISM的增益越大:8B拿到+6.0的平均提升,4B为+4.4,更强的基座被SFT“伤害”得更深,也因此从对齐中受益更多;

(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数(表中加粗),覆盖数学推理与通用视觉理解两类任务,这意味着对齐带来的不是某个领域的局部增益,而是分布层面的全局校准。

消融实验:每一步都不可或缺

从消融表(论文Table 2)里能直接读出每个组件的贡献:

(1)去掉SFT阶段直接掉16.8个点,说明SFT作为“冷启动”仍不可替代,PRISM不是要取代SFT,而是修复它带来的副作用;

(2)去掉对齐阶段掉4.4个点,与4B主表的提升幅度完全对应,是分布对齐效果的直接证据;

(3)单个4B判别器替代MoE掉3.4,仅文本判别器掉3.9。

后者尤为有趣:没有视觉感知的判别器只能捕捉表面模式(格式、模板、风格),导致策略学会了“鹦鹉学舌式对齐”,听起来像监督数据,但实际上看不到所描述的内容。

PRISM的出现,给多模态大模型的后训练范式打上了一个“补丁”,但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接,而是存在一道被长期忽略的分布断层。RL算法再强,如果起点就歪了,跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步,未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上,模型自然会跑得更稳。

Arxiv:https://arxiv.org/abs/2604.28123

Github:https://github.com/XIAO4579/PRISM

合作详询:swang886@connect.hkust-gz.edu.cn

今日相关部门传达新动态SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”

PRISM团队 投稿量子位 | 公众号 QbitAI

SFT之后,直接上强化学习就够了吗?

小心,你做的可能不是“训练”,而是“还债”。

在多模态大模型(MLLM)的后训练中,行业内长期遵循着一个看似天经地义的范式:先SFT,再RL,两步到位。

从DeepSeek到Qwen,从GRPO到DAPO,大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼:

SFT到RL之间,是不是少了点什么?

但来自香港科技大学(广州)、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现:

SFT不仅没有为RL铺好路,反而在悄悄挖坑。

被忽视的“隐形断层”:SFT到底做了什么?

先看一组比较有意思的数据(7个主流多模态benchmark的平均准确率):

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到,SFT之后,模型性能反而下降了。

8B 模型要更为明显一点:SFT掉了5.2个点,辛辛苦苦做完强化学习,才刚刚爬回基线(baseline)的水平(63.3%→58.1%→63.3%)。

也就是说,你的RL可能一直在“还债”,而不是在“提升”。

而且这绝不是个例。

在当下主流的强Instruct模型上(Qwen3-VL等),只要SFT数据带入一个与基座不一致的新分布(比如目前最常见的GPT/Gemini蒸馏数据)几乎都会观察到类似的掉点。

原因很直接:这类基座已经经过大规模、精细的后训练,能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布,结果就是用一个更“窄”的分布去覆盖一个更“广”的能力,旧能力被冲掉、新能力又没真正学到。

换句话说,模型越强、越接近实际部署的水平,SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题,是后训练里早已被反复讨论的分布漂移(Distributional Drift)。

但在多模态场景下,它有一套更隐蔽、也更难治的表现形式。

问题根源:SFT引入的两类偏差

SFT在多模态场景下,会引入两类容易被忽视的偏差:

偏差一:表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”:对模型来说,正确的推理步骤和格式化的模板套话,权重是一样的。

结果就是模型学会了“长得像”正确答案,而不是“想得出”正确答案。 它学到的是表面模式,而非忠实的推理能力。

偏差二:感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同,多模态模型的漂移不是单一的,而是两种定性不同的失败模式在同时发生:

感知漂移:视觉定位出错,模型“看错了”推理漂移:逻辑推导失败,模型“想歪了”

这两种漂移的成因不同、纠正方式不同,但SFT用同一个token loss把它们一起拟合。

而当RL阶段时,模型已经在感知和推理两端同时偏移,即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了?

从GRPO,到DAPO,再到GSPO,RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题:采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子:这里就好比你参加百米短跑,SFT不仅没有让你往前走,反而把你向后推了50米。

现有的RL算法都在研究怎么跑得更快,但起点还在坑里,而PRISM要做的,就是在SFT和RL之间补上这一步,不仅把你拉回起跑线,还顺势往前推一把,让RL只用跑50米就能冲线。

PRISM的核心方案:三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式,提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器(MoE Discriminator)

感知漂移和推理漂移是两类成因不同的偏差,需要分开处理。

PRISM为此设计了一个混合专家判别器,由两个专门化的专家组成:

感知专家D_v:专门评估视觉描述,测量模型的输出是否忠实于图像内容,解决感知漂移推理专家D_r:专门评估推理轨迹,测量逻辑推导是否一致有效,解决推理漂移

最终判别得分为两者的加权组合:

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号,避免将两种完全不同的误差模式塞进一个标量里,导致梯度信号变得嘈杂。

黑盒蒸馏:不需要教师logits

PRISM的另一个优雅之处在于:它是黑盒的。

很多蒸馏方法需要访问教师模型的logits(内部概率分布),这意味着你得有教师模型的完整权重。

但在实际场景中,最强的模型往往只提供API,你只能看到输出,看不到内部状态。

PRISM完全在响应级别工作:从强模型(Gemini 3 Flash)采集高质量输出作为正样本,从当前策略采样作为负样本,通过对抗博弈来对齐分布。

只要能调API,就能用PRISM。

一个重要的设计决策:去掉KL正则化

传统RL训练通常会加一个KL散度约束,防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单,对齐阶段的目的,就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束,本身就和这个目标相互矛盾。

分布演变:对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程:从Base到Post-SFT再到Post-Alignment,无论是推理步数还是视觉描述项数的分布,都在逐步向监督数据靠拢:

可以清晰看到:Post-SFT(蓝线)与Supervision(黑线)仍有明显偏差,而Post-Alignment(橙线)则大幅缩小了这一差距,且这种改进在Post-RLVR(绿线)阶段得以保持。

实验验证

在Qwen3-VL的4B和8B两个规模上,PRISM搭配GRPO/DAPO/GSPO三种主流RL算法,在4个数学推理基准(MathVista、MathVerse、MathVision、WeMath)和3个通用多模态基准(MMMU、MMMU-Pro、HallusionBench)上全面验证了有效性。

下表是论文Table 1的主结果(灰色行为PRISM):

从主表里能读出几个值得展开的信号:

(1)模型越强,PRISM的增益越大:8B拿到+6.0的平均提升,4B为+4.4,更强的基座被SFT“伤害”得更深,也因此从对齐中受益更多;

(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数(表中加粗),覆盖数学推理与通用视觉理解两类任务,这意味着对齐带来的不是某个领域的局部增益,而是分布层面的全局校准。

消融实验:每一步都不可或缺

从消融表(论文Table 2)里能直接读出每个组件的贡献:

(1)去掉SFT阶段直接掉16.8个点,说明SFT作为“冷启动”仍不可替代,PRISM不是要取代SFT,而是修复它带来的副作用;

(2)去掉对齐阶段掉4.4个点,与4B主表的提升幅度完全对应,是分布对齐效果的直接证据;

(3)单个4B判别器替代MoE掉3.4,仅文本判别器掉3.9。

后者尤为有趣:没有视觉感知的判别器只能捕捉表面模式(格式、模板、风格),导致策略学会了“鹦鹉学舌式对齐”,听起来像监督数据,但实际上看不到所描述的内容。

PRISM的出现,给多模态大模型的后训练范式打上了一个“补丁”,但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接,而是存在一道被长期忽略的分布断层。RL算法再强,如果起点就歪了,跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步,未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上,模型自然会跑得更稳。

Arxiv:https://arxiv.org/abs/2604.28123

Github:https://github.com/XIAO4579/PRISM

合作详询:swang886@connect.hkust-gz.edu.cn


美妆伴手礼作为生态美妆文旅衍生业态之一,具备巨大的经济价值与发展潜力。下一步,浙江将推动生态美妆与艺术、娱乐、直播电商、网红经济等产业深度融合,持续深挖产业经济价值,释放发展动能。(完) 熟女一级免费看-熟女一级免费看2026最新V.2.72.12-游戏狗 自媒体博主被判赔比亚迪200万
自媒体博主被判赔比亚迪200万

自媒体博主被判赔比亚迪200万

百万最新免费软件游戏

下载

自媒体博主被判赔比亚迪200万
首页>>从消费电子到大国重器 中国品牌多点开花圈粉海内外
自媒体博主被判赔比亚迪200万

自媒体博主被判赔比亚迪200万

「活动」首次登录送19元红包

20.82MB
版本{版本}
下载APK高速下载
下载再SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”安装你想要的应用 更方便 更快捷 发现更多
喜欢23%好评(50人)
评论17
SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图0SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图1SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图2SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图3SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”截图4
详细信息
  • 软件大小:70.53MB
  • 最后更新:2026-11-22 23:15:02
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-AndroidSFT别急着接RL!你的多模态大模型可能一直在“带伤训练”
  • 使用语言:中文
  • :需要联网
  • 系统要求:9.31以上
应用介绍
🚫第一步:访问《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》官网👉首先,打开您的浏览器,输入《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》。您可以通过搜索引擎搜索或直接输入网址来访问.☕️
🚫第二步:点击注册按钮👉一旦进入《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。🐍️
🚫第三步:填写注册信息 👉在注册页面上,您需要填写一些必要的个人信息来创建《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。😴
🚫第四步:验证账户👉填写完个人信息后,您可能需要进行账户验证。《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。🌙
🚫第五步:设置安全选项👉《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。🥩
🚫第六步:阅读并同意条款👉在注册过程中,《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。🥗️
🚫第七步:完成注册👉一旦您完成了所有必要的步骤,并同意了《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站的条款,恭喜您!您已经成功注册了《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站账户。现在,您可以畅享《SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!🉑
【联系我们】
客服热线
加载更多
版本更新
{版本}
SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”
  • 首批18家网络产品安全漏洞收集平台签署自律公约
  • 事关重大!多地书记省长部署
  • 中央气象台:强对流天气预警
  • 经纬度:扩大高水平对外开放,何以实现“自主引领”
  • 169家企业齐聚大理医博会 共建“健康丝绸之路”
  • 徽茶“出海”加速 中外茶商安徽“双向奔赴”
  • 贯通广州三大火车站 广南联络线预计明年年中建成运营
  • 非洲青年在中国用镜头记录科学装置
  • 一块电池、一个联盟:欣旺达如何打造电摩超充新体验
  • 2026连云港铁人三项亚洲杯赛暨国际铁人三项赛收官
  • 大西洋一邮轮出现汉坦病毒感染事件 世卫:不必恐慌或实施旅行限制
  • 三星电子工会:明日起全面罢工
  • 第二艘国产大型邮轮“爱达·花城号”开启为期12天的试航
  • 官媒评小区531户仅25户交物业费

    电车是时候交“养路费”了

    福建龙岩:“绿巨人”矿卡奔赴西藏高原“上岗”

    详情
查看更多
加载中加载中,请稍等...

SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”类似软件

  • 守护千年秦直道:脚下的每一寸土都是历史2026中吉媒体合作论坛在比什凯克举行

    大西洋一邮轮出现汉坦病毒感染事件 世卫:不必恐慌或实施旅行限制

  • 报告:中国基础教育教师队伍进入“研究生扩张时代”双层大巴撞上限高架 车头嵌入架中

    福建畲族“凤凰”飞天山:银饰叮当舞动闽疆情

  • 湖北多地遭遇特大暴雨 多部门合力抢险救援时隔21年 U17国足再次晋级世少赛

    一束光落在小猫身上 周身泛起“七彩祥云” 网友:能治愈我一整天

  • 珠江委会同广西水利部门开展平陆运河航运用水保障工作福建省“5·26我爱路”主题宣传在厦门启动

    中国男、女队晋级汤尤杯决赛

  • 桂林老国企牵手院士团队 攻关高端铜基材料关键工艺两名巴基斯坦航天员已与中国航天员一同参加任务训练

    茶香润五洲 中外学子广西品茶论道

  • 七类常见疼痛 教你“见招拆招”北京俄罗斯文化中心举办纪念苏联伟大卫国战争胜利81周年庆祝活动

    台湾中医药业者盼借大陆经验互补共进

  • 一线调研:沙县小吃的“新味道”北海海关2026—2027年数据通信服务采购项目协商谈判招标公告

    让收藏在博物馆里的文物活起来

  • 外交部:对日方而言当前紧迫的是在台湾问题上尽快纠正错误言行三峡库区水位加快消落 调整航标保畅通

    马来西亚华人博物馆馆长谈《给阿嬷的情书》:是华侨华人下南洋历史的最佳写照

  • 济南明水古城:雨后泉群 欢涌如注武契奇到访长城 点赞“了不起”的建造

    第八期尼泊尔旅游人才汉语培训班开班

  • 你们的1919,我们的2026西摩·赫什:完全知晓破坏\

    2026广州文化产业交易会吸引参观者

  • 金丽温开放大通道提速 拓宽浙南闽北赣东黄金通道中国最牛存储公司日赚近4亿

    纽曼思公布于5月4日上午起复牌

  • 辛识平:全方位补齐短板 守牢安全生命线长安大学招录乌龙 网友在担忧什么

    特朗普:中国的活力令人惊叹

  • 市场监管总局:开展破除妨碍统一市场和公平竞争卡点堵点专项行动微信支持PayPal用户来华扫码支付

    中国石窟“病害”难题频发 逾百位专家呼吁科技治理

  • 得州新州长回应马斯克隔空示好(第九届进博会)国际酒店巨头进博会同台亮出在华“新坐标”

    湖南浏阳烟花爆竹企业爆炸事故已致3人死亡

  • 马来西亚4月CPI同比上涨1.9%中俄携手育才 深圳北理莫斯科大学探索教育合作新路

    “我的晚年我做主” 重庆北碚探索“六大路径”破解意定监护难题

  • 从“工业锈带”到“生活秀带” 长春历史遗迹重构文旅新格局仁智股份:筹划公司控制权变更事项

    收录156篇微小说 《讨时间的欢喜》新书发布

  • 烟火乡音是给“阿嬷”动人的“情书”第25届“汉语桥”世界大学生中文比赛德国区决赛举行

    2.8万台机器人领了“身份证”:分四段共29位字符

  • 2023年以来河北累计引进央企总部及二、三级子公司超800家浙江杭州唯美绣球花境吸引游人

    英首相拒绝因执政党地方选举失利辞职

  • 我国养老服务机器人市场规模高速增长共商“十五五”科技传播大计 2026年中国科技传播论坛在北京举行

    上海期货交易所修订风控办法 今起实施

  • 全国助残日 | 点亮温暖之光 多维度发力保障残疾群体平等融入社会昆明民进书画院40余幅新作再现红军长征图景

    9万平方米展现“智造” 第26届立嘉国际智能装备展览会启幕

  • “楚超”联赛再战 武汉主场气氛浓“天舟小哥”即将送货太空,一起看看超6吨的“快递”包裹有多丰富

    用“空间语言”绘就美丽新宁夏 《宁夏回族自治区自然资源地图集》正式出版

  • “两长”IPO背后:科技投行3种能力多地雷雨大风 这些机场出行需留意

    保险理赔人员蹚水救助被困车主

  • 从热门商品到演出门票 “抢票神器”粗暴收割公平购票机会“海南鲜品”品牌效应显现:企业拓市场 农户增收益

    美媒:中国电动车已准备主导21世纪

  • 雅戈尔去年投资业务净利近25亿元霍尔木兹上演“迷你战争”,美伊剑拔弩张又要开打?

    今年北京共安排人工智能产业发展条例等25项立法项目

  • 《给阿嬷的情书》总制片人回应网友:“最大反派”其实也是极其敬业的“打工人”台退将怒批民进党高额军购案

    郑州首支女工维修队走红

  • 5·19中国旅游日:西藏纳木错迎来开湖盛会伊朗和巴基斯坦两国外长通话

    应对强降雨 广东提前转移超23000人

  • 西藏山南举办桑日思金拉错文旅品牌推介暨开湖仪式【好评中国】夜经济“出圈”:点亮的是璀璨夜色,涌动的是发展信心

    一场招商推介会背后的出海逻辑:宁德有货,侨商有路

  • 曾繁旭:中国气候治理不是牺牲产业竞争力换减排上海文史馆馆员走进山深村 建言文化赋能沪派江南建设

    “三夏”服务台 水稻遇“水”怎么办

  • 高通总裁安蒙:访华之行让我备受鼓舞 将继续深耕中国市场把代码写进农田 浙江湖州“硬核科创”探索青年入乡新路

    土耳其驻华大使:中国经验备受关注,土中绿色合作迎来新契机|新闻会客厅

  • 陕西壶口金瀑飞流商务部:如欧方执意对中企采取歧视性限制措施,中方将坚决反制

    甘肃康乐牛倌“点”数据 牧歌“云”上听

  • 澳门特区审计署公布两份报告 持续跟进公共部门整改情况闽菜名厨同台竞技 助推宁德大黄鱼香飘万里

    浙江省军区原副司令员严宝富将军逝世

  • 内塔尼亚胡发布健身视频 此前已成功接受早期前列腺癌治疗南宁高新区与西乡塘区以“融合”打通科教资源就地转化壁垒

    2026年浙江省全民艺术季在杭启动

  • 广东将有大暴雨 局部或有龙卷今年五一“社恐型酒店”火了

    专家:AI正在经历痛苦的再定价

  • 莫斯科遭近1年多最大规模无人机袭击牛弹琴:德国怂了

    “恐发生人际传播”!大西洋涉疫游轮最新情况

  • 十期文化探访节目《传世书院》溯源中华文脉内蒙古冬日转场记:百里沙海寻驼归 游牧薪火代代传

    中国官方批复“700”专用码号试点 点外卖将隐藏真实手机号

  • 沪上侨界人士观《给阿嬷的情书》:纸短情长映侨心东西问丨生键红:美国伊利诺伊州为何在上海捐建中国铁路工人纪念塔?

    吉林推进多元“保税+”模式 提升跨境贸易便利化水平

相关攻略
  • 中国铁路“五一”假期运输收官 多项指标创历史新高
    2026-11-22 23:15:02
包含 饿了么 的应用集
  • 美国对古巴实施新制裁 重庆永川特大暴雨已致9人死亡、11人失联 江西新余遇强降雨侵袭 多地村庄内涝农田被淹
    全线爆发!中国资产,大涨!
    湖北发布十项促进鄂台青年交流合作举措
    146288152172912026-11-22 23:15:02
  • 巴基斯坦安全部队击毙15名恐怖分子 浙江湖州:“童装之都”奔赴出海新航程 2025年01月-2026年04月广西进出口商品总值表(人民币值)
    粤“520”近 1.9 万对新人领证 多元活动见证浪漫时刻
    2026世界汽车标准创新大会在深圳召开
    33136976645852026-11-22 23:15:02
  • APEC红蓝围巾是怎么分的 我驻美使馆举办开放日暨陕西省推介活动 探访西藏昌都怒江大桥 为何鸣笛声不断?
    哈登抢七大战得分拉胯
    国家发展改革委:预计今年迎峰度夏期间能源供需总体平衡
    5447752435135958072026-11-22 23:15:02
  • 电影票降价?五一档票价创近年同期最低 岛内分析美国暂停对台军售原因 国家医保局曝光4起定点医疗机构违反医保协议典型案例”
    贾跃亭已出任FF全球CEO
    外交部提醒中国公民近期谨慎前往刚果(金)
    9328117488634072026-11-22 23:15:02
  • 2026全国跳水冠军赛第四个比赛日 安徽队和湖北队各得一金 温情服务润民心 重庆涪陵以创新模式织就民生幸福网 光大期货:有色金属类日报5.29
    “四两”如何拨“千斤”(评论员观察)
    无人驾驶板块拉升 浙江世宝触及涨停
    679525304602382026-11-22 23:15:02
  • 广西田林:小满时节葡萄管护忙 专家学者共议以研究范式转型助力哲学社会科学自主知识体系建设 防范“电子带娃”,让幼儿教育回归本真
    南城香创始人称外卖大战结束后,连锁品牌有望给小饭馆释放出单量
    上海杨浦区与无锡市携手推动融合赋能 打造长三角城市合作典范
    394057730334772026-11-22 23:15:02
  • 涵洞积水 交警环卫雨夜坚守排水除淤 最新一期贷款市场报价利率公布 维持不变 特朗普称美方击沉7艘伊朗小型船只
    中国最大直径长江隧道掘进抵达江底75米
    U17世界杯:中国队首战0:5不敌西班牙队
    62318691002242026-11-22 23:15:02
  • 两男子靠守号喜获3000万 多地取消执行40多年的固定分时电价 习近平主席的深圳APEC时间
    商场举办偷吃大赛被抓罚站30秒
    老兵创业插上了“翅膀”
    1697961079093327192026-11-22 23:15:02
  • 山货出山有“捷径” 浙江景宁“百村千播”唤醒乡村活力 文博会观察:台商携带新品开拓大陆市场 印尼长途客车与油罐车相撞致至少16人死亡
    轰!张雪冠军战车820RR抵港,82岁车迷试坐激动点赞:中国制造100分
    中美元首北京会晤 三个特殊时间点
    112271243089222026-11-22 23:15:02
  • 宠物医疗亮相大理医博会 “它经济”成产业新风向 南京“十五五”锚定“四个战略重点”:创新引领、文化赋能、枢纽提能、国际开放 立体交通织就发展新图景 无锡阳山借路网蝶变激活江南桃源新活力
    从样板到全域 智慧农业激活三湘良田新动能
    清远连山首次在野外记录到海南鳽
    717250156328472026-11-22 23:15:02
  • 多个智慧轨道交通“黑科技”亮相广州 中卫云计算产业用电负荷突破30万千瓦 算力产业发展迈入新阶段 行进的海岸线|黄渤海交汇处澎湃全球海岛绿色新动能
    引力一号把火箭发射价打下来了
    国内外名将云集 2026射箭世界杯赛上海站将开赛
    496449352195755382026-11-22 23:15:02
  • 600年古树被毁上级部门一问三不知 (经济观察)郑州青春经济潮起 流量变城市“留量” 期待物业公司找回“服务”初心
    腾讯新园区80%工位拥有海景视野
    金条加税!外储保卫战打响,又一国出手!对国际金价有何影响?
    34964485728874922026-11-22 23:15:02
  • 一纸调解书牵出祖宅易主隐情 法定继承人失而复得继承权 武警桂林支队军人运动会燃爆赛场 习近平总书记关切事|活出精彩的人生
    闽籍侨领王万瑞任巴西华人协会会长
    江西资溪大觉山:绿水青山风光旖旎引客来
    2562425052205244732026-11-22 23:15:02
  • 伊朗:正“审议”美方对14点提议回应 目前谈判不涉核 朴槿惠出席活动 多名女保镖贴身防卫 华尔街为黄金吵翻了吗
    我国第四代自主超导量子计算机“本源悟空-180”上线
    文化观察:AI时代 “美商”如何守住人的感知力?
    616435922888352026-11-22 23:15:02
  • 三亚携手贵州“村超”上演沙滩足球“山海对决” 乘网约车救下脑梗司机 两名大学生捐出奖金传递善意 驴友在川西4600米营地帐篷里去世
    李翔再访王宁
    青海:学法普法,夯实民族工作法治根基
    670619618107549142026-11-22 23:15:02
  • “集成多模式检测电化学分析仪”通过科技成果评价 中国最高法发布案例 从严惩处虐待残害未成年人犯罪 台湾多个团体举行抗议活动 吁“停止军购”“改善民生”
    辽宁推出自贸35项新举措护航跨境投资贸易便利化
    “独腿球王”五次赴约贵州“村超”
    8622566320816405952026-11-22 23:15:02
  • 中国驻菲律宾大使井泉走访西内格罗斯省巴科洛德市 老挝华文学校校长许顺宏:华文教育打开当地求学者的发展新空间 保护动物在派出所蹭吃 得做反诈宣传
    顺丰据悉拟在香港开设黄金保管库
    第三届海峡两岸中华文化峰会电影论坛在京举行
    821783907257572026-11-22 23:15:02
  • 广州华南商业中心:把家门口的市场做深做透 1-10月份辽宁省进出口稳步增长 出口增长较快 李楠任北京化工大学党委书记
    5月26日人民币对美元中间价报6.8288 上调30个基点
    台青逛湖南湘江新区:让文物“活”成网红
    13574163238223912026-11-22 23:15:02
  • 净网:多人用汛情造谣博流量被处罚 琼港企业家合作大会举行 共谋“双港联动”机遇 湖南省文化馆数字文旅体验空间开馆
    商务部:1-4月商品和服务零售合并计算同比增长3.2%
    土耳其理工名校掀起中国热
    359953598706249342026-11-22 23:15:02
  • 山东青州:特巡警冒雨执勤 过路司机车窗抛伞暖人心 “外媒:伊朗总统下令恢复国际互联网接入 周锡玮:这个时代,作为一个中国人无比骄傲光荣
    中国投资者被假皇室骗1800万美元
    国家出台政策保障流动儿童在居住地均等化享有基本公共服务
    127420498685062026-11-22 23:15:02
  • 儿科里的“白衣超人”:“十八般技艺”护患儿安康 淮河流域如何应对汛期大考?记者一线直击 特朗普发言时突然跑题吐槽打字软件
    “晚上11点没人来买东西,我才确定出事了”山西留神峪煤矿附近商户发声
    武契奇参观小米汽车工厂
    848649071343052026-11-22 23:15:02
  • 湖南石门遭遇极端暴雨 直播探访 中越两地联合发布生物多样性保护愿景倡议书 AI伪造专家、“医用级”当噱头 互联网广告乱象再曝光
    新华图讯丨习近平会见泰国总理阿努廷
    以“小家庭”联结“大世界” 中外家庭北京共度国际家庭日
    57975419681297632026-11-22 23:15:02
  • 韩国高考AI作弊事件发酵 教育部长引咎辞职 青海省公安厅原党委委员、副厅长杜海民接受审查调查 第二届中国新疆民间艺术季启动
    第二十届孟连娜允神鱼节收官 文旅融合绘就边疆新画卷
    广东公布第三批以县城为重要载体的新型城镇化建设试点
    618921688676962026-11-22 23:15:02
友情链接
  • 民警3倍“比耶”回应小偷挑衅
    2026-11-22 23:15:02
  • (乡村行·看振兴)江西安远“小”浆果绘就乡村振兴“莓”好“蓝”图
    2026-11-22 23:15:02
  • 人民领袖|一副对联里的青春寄望
    2026-11-22 23:15:02
安卓手机网上最贴心的Android软件应用平台!版权所有:SFT别急着接RL!你的多模态大模型可能一直在“带伤训练”有限公司备案号:京ICP备17065190号-1