免费无遮挡 视频网5分钟 最近更新|更新列表|字母检索|下载排行|苹果专区|分类导航

当前位置:首页 → 电脑软件 → 广州一公园现70cm剧毒外来入侵物种 → 免费无遮挡 视频网5分钟 v6.189 安卓免费版

免费无遮挡 视频网5分钟

免费无遮挡 视频网5分钟

  • 电脑版下载
猜你喜欢
标签: 免费无遮挡 视频网5分钟 久久嫩草精
详情
介绍
猜你喜欢
相关版本

内容详情

免费无遮挡 视频网5分钟

PRISM团队 投稿量子位 | 公众号 QbitAI

SFT之后,直接上强化学习就够了吗?

小心,你做的可能不是“训练”,而是“还债”。

在多模态大模型(MLLM)的后训练中,行业内长期遵循着一个看似天经地义的范式:先SFT,再RL,两步到位。

从DeepSeek到Qwen,从GRPO到DAPO,大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼:

SFT到RL之间,是不是少了点什么?

但来自香港科技大学(广州)、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现:

SFT不仅没有为RL铺好路,反而在悄悄挖坑。

被忽视的“隐形断层”:SFT到底做了什么?

先看一组比较有意思的数据(7个主流多模态benchmark的平均准确率):

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到,SFT之后,模型性能反而下降了。

8B 模型要更为明显一点:SFT掉了5.2个点,辛辛苦苦做完强化学习,才刚刚爬回基线(baseline)的水平(63.3%→58.1%→63.3%)。

也就是说,你的RL可能一直在“还债”,而不是在“提升”。

而且这绝不是个例。

在当下主流的强Instruct模型上(Qwen3-VL等),只要SFT数据带入一个与基座不一致的新分布(比如目前最常见的GPT/Gemini蒸馏数据)几乎都会观察到类似的掉点。

原因很直接:这类基座已经经过大规模、精细的后训练,能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布,结果就是用一个更“窄”的分布去覆盖一个更“广”的能力,旧能力被冲掉、新能力又没真正学到。

换句话说,模型越强、越接近实际部署的水平,SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题,是后训练里早已被反复讨论的分布漂移(Distributional Drift)。

但在多模态场景下,它有一套更隐蔽、也更难治的表现形式。

问题根源:SFT引入的两类偏差

SFT在多模态场景下,会引入两类容易被忽视的偏差:

偏差一:表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”:对模型来说,正确的推理步骤和格式化的模板套话,权重是一样的。

结果就是模型学会了“长得像”正确答案,而不是“想得出”正确答案。 它学到的是表面模式,而非忠实的推理能力。

偏差二:感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同,多模态模型的漂移不是单一的,而是两种定性不同的失败模式在同时发生:

感知漂移:视觉定位出错,模型“看错了”推理漂移:逻辑推导失败,模型“想歪了”

这两种漂移的成因不同、纠正方式不同,但SFT用同一个token loss把它们一起拟合。

而当RL阶段时,模型已经在感知和推理两端同时偏移,即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了?

从GRPO,到DAPO,再到GSPO,RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题:采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子:这里就好比你参加百米短跑,SFT不仅没有让你往前走,反而把你向后推了50米。

现有的RL算法都在研究怎么跑得更快,但起点还在坑里,而PRISM要做的,就是在SFT和RL之间补上这一步,不仅把你拉回起跑线,还顺势往前推一把,让RL只用跑50米就能冲线。

PRISM的核心方案:三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式,提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器(MoE Discriminator)

感知漂移和推理漂移是两类成因不同的偏差,需要分开处理。

PRISM为此设计了一个混合专家判别器,由两个专门化的专家组成:

感知专家D_v:专门评估视觉描述,测量模型的输出是否忠实于图像内容,解决感知漂移推理专家D_r:专门评估推理轨迹,测量逻辑推导是否一致有效,解决推理漂移

最终判别得分为两者的加权组合:

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号,避免将两种完全不同的误差模式塞进一个标量里,导致梯度信号变得嘈杂。

黑盒蒸馏:不需要教师logits

PRISM的另一个优雅之处在于:它是黑盒的。

很多蒸馏方法需要访问教师模型的logits(内部概率分布),这意味着你得有教师模型的完整权重。

但在实际场景中,最强的模型往往只提供API,你只能看到输出,看不到内部状态。

PRISM完全在响应级别工作:从强模型(Gemini 3 Flash)采集高质量输出作为正样本,从当前策略采样作为负样本,通过对抗博弈来对齐分布。

只要能调API,就能用PRISM。

一个重要的设计决策:去掉KL正则化

传统RL训练通常会加一个KL散度约束,防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单,对齐阶段的目的,就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束,本身就和这个目标相互矛盾。

分布演变:对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程:从Base到Post-SFT再到Post-Alignment,无论是推理步数还是视觉描述项数的分布,都在逐步向监督数据靠拢:

可以清晰看到:Post-SFT(蓝线)与Supervision(黑线)仍有明显偏差,而Post-Alignment(橙线)则大幅缩小了这一差距,且这种改进在Post-RLVR(绿线)阶段得以保持。

实验验证

在Qwen3-VL的4B和8B两个规模上,PRISM搭配GRPO/DAPO/GSPO三种主流RL算法,在4个数学推理基准(MathVista、MathVerse、MathVision、WeMath)和3个通用多模态基准(MMMU、MMMU-Pro、HallusionBench)上全面验证了有效性。

下表是论文Table 1的主结果(灰色行为PRISM):

从主表里能读出几个值得展开的信号:

(1)模型越强,PRISM的增益越大:8B拿到+6.0的平均提升,4B为+4.4,更强的基座被SFT“伤害”得更深,也因此从对齐中受益更多;

(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数(表中加粗),覆盖数学推理与通用视觉理解两类任务,这意味着对齐带来的不是某个领域的局部增益,而是分布层面的全局校准。

消融实验:每一步都不可或缺

从消融表(论文Table 2)里能直接读出每个组件的贡献:

(1)去掉SFT阶段直接掉16.8个点,说明SFT作为“冷启动”仍不可替代,PRISM不是要取代SFT,而是修复它带来的副作用;

(2)去掉对齐阶段掉4.4个点,与4B主表的提升幅度完全对应,是分布对齐效果的直接证据;

(3)单个4B判别器替代MoE掉3.4,仅文本判别器掉3.9。

后者尤为有趣:没有视觉感知的判别器只能捕捉表面模式(格式、模板、风格),导致策略学会了“鹦鹉学舌式对齐”,听起来像监督数据,但实际上看不到所描述的内容。

PRISM的出现,给多模态大模型的后训练范式打上了一个“补丁”,但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接,而是存在一道被长期忽略的分布断层。RL算法再强,如果起点就歪了,跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步,未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上,模型自然会跑得更稳。

Arxiv:https://arxiv.org/abs/2604.28123

Github:https://github.com/XIAO4579/PRISM

合作详询:swang886@connect.hkust-gz.edu.cn

相关版本

    多平台下载

    • PC版

      免费无遮挡 视频网5分钟 v9.618.7339.536416 安卓汉化版

    • Android版

      免费无遮挡 视频网5分钟 v5.50 PC版

    查看所有0条评论>网友评论

    发表评论

    (您的评论需要经过审核才能显示) 网友粉丝QQ群号:766969941

    查看所有0条评论>>

    相关软件
    旭东软件园进入v0.9.9 FreeeXxXxX×女性农民 能看女生尿尿的软件 高清 码 免费直播 操逼黄页 h色网站入口 91国语最新自产拍在线观看 一级a一级a爱片免费免免下载 亚洲午夜精品久久久久久app_ 久久99久久98精品免观看软件 Gay巴西gy又粗又大电影 久久黄色网络 小鸟禁漫 单人艹人人艹 性视屏 91 无套直看片红桃在线观看今 甘雨撕开内衣 吸奶头动漫 男人v天堂 美女扣币 午夜福利2018 被男人插逼 91久久久久久久久18 在线观看黄色的视频 刘涛黄色片 草草影院日本 特黄特色特大视频 国产人人色 色天堂app 中文乱码在线播放 男人日美女 豆包成人版18 在线观看 羞同学 AV黄色软件 speaking实践视频观看 久久国产精品首页 狙仙的宝库全部免费观看 亚州免费 7777精品 久久久久久久久久一级 99视频有精品视频高清 色播 17c 亚洲激情 CL1024达尔盖的旗帜 雷电将军被强行打扑克 FeelHDXXⅩvioe 亚欧性爱柔象 操操爱 大香蕉久久综合 亚洲国产精品一区二区久久HS 青青老司机精品视频 综合五月激情网 一边摸一边做 小蓝gv在线看Gay片 国产精品7777 可以免费看的黄色视频 国产人妖cd在线视频 美女xx 欧美人人人人人人人操 我和大狗做了整整几天 午夜福利a 男生怒怼女生甜甜圈 色色国产 玖玖资源共享 陈美娇 国产在线拍揄自揄视频网站 男人亲摸下面激烈视频 16岁.apk.1 黑土大雷漫画 日韩A线视频片 亚洲人成国内自拍 无码啊啊啊 亚洲毛片网 www.madou 中国八到十六性交AAA片 国精产品一区二区三区黑人和中国 黄色不卡片 玩弄千仞雪视频 韩国男人的天堂 午夜福利92国语 mofos软件 国内自拍视频在线观看 xxx100 大香蕉软件 亚洲精品日韩专区 人妻蜜桃臀中文字幕破解版一区 日批软件 一区二区三区精品视频 18禁应用 天堂最新地址 99ri在线视频 动漫强奸软件 亚洲成人永久在线 刘亦菲换脸视频合集大全在线观看 国产资源黄 十八岁以下禁止观看的网站 天堂亚洲 黄色韩漫 v片视频 好大好烫 日韩欧美人妻 草莓视频色色 e621网页版 久久视频6 猎奇小屋软件免费下载安装最新版 女人扒开腿秘 男人桶爽无遮挡亚洲 婬乱妓院NP嗯啊粗大H动漫视频 未满18勿入 激情综合婷婷丁香 黄金仓库hsck.ent 超碰男人 先锋AV人人专区 XXNX 老帅免费视频 苏杭黄色视频播放 馃敒 易炼红儿子之死 久久久久 日本挙交瓶交扩张视频 亚洲XX网站 操BBB操BBB gavbus磁力资料库最新地址
    热门网络工具