编辑|Panda
AI 图像生成通常遵循「能力越强、代价越高」的铁律;与此同时,学界却在悄悄质疑另一个更根本的浪费:传统 VAE 对图像语义几乎一无所知,而 DINOv2、SigLIP 等视觉编码器早已从数亿张图片中习得了丰富的视觉常识。图像生成模型,真的需要从零开始「发明」对图像的理解吗?
2025 年 10 月,纽约大学谢赛宁团队提出了「表征自编码器(Representation Autoencoder,RAE)」框架,首次系统性地将预训练视觉编码器引入扩散模型的潜在空间。参阅我们的报道《VAE 时代终结?谢赛宁团队「RAE」登场,表征自编码器或成 DiT 训练新基石》。
这项成果在学界引发强烈反响,但同时也暴露出三个阻碍实用落地的核心问题:重建质量不如专用 VAE、无法配合传统引导机制、训练收敛极慢。
五个月后,同一团队携手 Adobe Research 与澳大利亚国立大学,带来了全面改进的RAEv2
论文标题:Improved Baselines with Representation Autoencoders论文地址:https://arxiv.org/abs/2605.18324v1项目页面:https://raev2.github.io
为什么 VAE 是瓶颈?
要理解这项工作的意义,先要理解 VAE 是什么,以及它为什么开始成为瓶颈。
想象一家大型图书馆。图书馆的索引系统(VAE 编码器)负责将每一本书压缩成一张卡片,存入一个巨大的卡片柜(潜在空间)。扩散模型在这个卡片柜里工作:从一堆杂乱的卡片出发,一步步「去噪」,最终还原出一张清晰的卡片,再由解码器将卡片还原成完整的书。
问题在于传统的索引卡片(VAE 潜在空间)记录的是书的物理特征,比如厚度、颜色、字体大小。但模型真正需要的,是书的内容和含义。扩散模型每次从噪声出发,都要自己重新学会「这是一只猫」、「这是一棵树」,效率极低。
预训练视觉编码器(DINOv2 等)则截然不同。它们的索引卡片记录的是语义:这本书讲的是什么主题、出现了哪些人物、场景的空间结构如何。如果扩散模型能在这样的潜在空间里工作,就相当于站在了巨人的肩膀上,不需要重复学习「视觉常识」。
RAE 正是这样的系统:以预训练编码器为图书馆的索引系统,训练一个解码器来还原图像。但第一代 RAE 的问题,是这套索引卡片只记录了「书的最后一章摘要」,丢失了大量中间层的细节信息。
三个洞察,一次系统性升级
RAEv2 的工作核心是三个独立但相互支撑的技术洞察。
洞察一:最后一层不是全部。
原始 RAE 直接使用视觉编码器最后一层的输出作为潜在表征。但预训练编码器的知识并非只集中在最后一层 —— 就像一个专家的完整知识体系,不只存在于他最后的结论里,也分布在他的推理过程中。
RAEv2 提出了一个极其简洁的解法:将编码器最后 K 层的特征直接相加,作为潜在表征。这个操作不引入任何新参数,不需要额外训练数据(比如文字或人脸),却让图像重建质量产生了质的飞跃。当 K 从 1(原始 RAE)增加到 23(全部层)时,重建误差(rFID)从 0.60 骤降至 0.18,峰值信噪比从 18.93 dB 提升至 27.03 dB。
洞察二:RAE 和 REPA 其实是互补的,不是竞争关系。
这是整篇论文最出人意料的发现。
学界此前普遍认为:既然 RAE 已经把预训练编码器的特征直接用作潜在空间,就没必要再用 REPA(表征对齐损失,将同一批编码器特征蒸馏到扩散模型的中间层)—— 那不是多此一举,让同一个信号走两条路吗?
研究团队横跨 27 种视觉编码器进行了大规模实验,结果令人惊讶:无论哪种编码器,REPA 和 RAE 同时使用时,效果都优于单独使用任一方。
更有趣的是,两者改善的是不同维度。RAE 提供的是「全局语义」,比如模型知道图里有只猫;REPA 提供的是「空间结构」,比如模型知道猫在图像左上角、眼睛在鼻子上方。前者对应语义信息(用线性探针准确率 LP 衡量),后者对应空间自相似性(用 LDS 衡量)。在 27 个编码器的相关性分析中,这一互补机制得到了严格统计验证,皮尔逊相关系数分别达到 -0.81(RAE 依赖 LP)和 -0.89(REPA 依赖 LDS)。
这一发现还解释了为什么更强的编码器 DINOv3-L,在第一代 RAE 里反而表现不如 DINOv2-B;因为原始 RAE 只利用了语义维度,而 DINOv3-L 的优势恰恰在于两个维度都强,RAE+REPA 才能充分发挥它的潜力。
洞察三:「引导」其实一直藏在模型里。
这是最优雅的一个技术贡献。
图像生成模型在推理时,通常需要一种叫做「引导」(Guidance)的机制来提升图像质量 —— 本质是让模型在「有条件」和「无条件」两个状态之间做差值,从而强化目标特征。原始 RAE 无法使用标准的分类器自由引导(CFG),只能训练一个额外的「弱版扩散模型」来充当引导基线(AutoGuidance),这不仅增加了训练成本,推理时也需要额外一次前向计算。
RAEv2 观察到一个关键性质:REPA 在 RAE 框架下,本质上是在做「x 预测」(预测干净的图像表征),而 REPA 头只能访问模型的浅层特征,天然是一个「更弱的版本」。将主模型输出也改写为 x 预测格式,就可以直接用 REPA 头作为引导基线。这样就无需额外训练任何模型,无需额外前向计算,引导完全「免费」。
RAEv2 的表现如何?
三个洞察组合在一起,形成了 RAEv2,带来了可量化的全面改进。
在图像生成质量(ImageNet-256,以 gFID 衡量,越低越好)上,RAEv2 在仅 80 个训练 epoch 后达到 1.06。
以 FDr₆这一更严格的评估指标衡量,RAEv2 以 80 epoch 达到 2.17,超越了原始 RAE 的最佳成绩 3.26—— 后者需要十倍训练时长且依赖后处理。
研究团队为此引入了一个新的效率指标:EPFID@k,即「达到无引导 gFID ≤ k 所需的训练 epoch 数」。这个指标的意义在于:绝对 gFID 数值的微小差异在实际应用中几乎感知不到,但训练效率的差异直接决定了谁能更快迭代、更低成本实验。
RAE 的 EPFID@2 为 177 epoch,RAEv2 将其压缩到了 35 epoch—— 收敛速度超过 5 倍,若与早期方法比较则达 10 倍以上。
在计算成本上,RAEv2 保持与第一代 RAE 完全相同的 189 GFLOPs,而 FLUX.1 等顶级商业模型需要 448 GFLOPs。以不到一半的算力,达到超越所有同类系统的生成质量。这是 RAEv2 最直接的工程价值。
在重建质量上,尽管只在 ImageNet 上训练,RAEv2 的还原效果已可与 FLUX VAE、SDXL-VAE 等在大规模多样化数据集上训练的专有模型相媲美。
超越图像分类:更广的适用性
RAEv2 并未局限于 ImageNet 实验。论文还验证了其在两个方向上的泛化能力。
在文本生图方向,使用 SigLIP-2 作为编码器的 RAEv2,在文本生图基准上展现出与 ImageNet 实验一致的改进趋势,收敛速度显著快于基于 VAE 的对比方法。
在导航世界模型方向 —— 即 AI 通过视觉预测未来帧的任务场景 ——RAEv2 同样带来了一致的性能提升,证明这一框架并非专为图像生成设计的特殊技巧,而是具有跨任务通用性的基础方法。
一个更大的赌注
RAEv2 所指向的不只是「更快的图像生成」。
在传统的图像 AI 体系里,「理解图像」和「生成图像」是两条平行的轨道:前者用 DINOv2、CLIP 等判别式模型,后者用 Stable Diffusion、FLUX 等生成式模型,两者共享的只有训练数据,而非知识体系。
RAE 框架的核心赌注是把这两条轨道合并。如果生成模型直接在视觉理解模型的语义空间里工作,那理解和生成就共享同一套「视觉语言」,未来的统一多模态模型将具备直接在生成的图像潜在表征上进行推理的能力。
从一个单纯的「更快收敛」的工程改进出发,RAEv2 不经意间指向了一个更宏观的问题:下一代多模态 AI 是否应当从根本上统一「看」与「画」的底层表征?
这个问题,也许比 gFID 数字本身更值得关注。
《丁香av》,《x》口述激情故事
“五月婷婷六月丁香”
julia在线中文
……
{!! riqi() !!}
“大美女 100%露出奶视频无遮挡”{!! reci() !!}
↓↓↓
![]()
{!! riqi() !!},应对强降雨 广东提前转移超23000人,【https://ctv.kxgav1.com/x/】粉红女郎永久网址,请您牢记,嫩草黄页,超频在线观看,18 插 网站
{!! riqi() !!},以军扩大对黎巴嫩和加沙“双线”军事行动,青春草在线免费视频,虐玩露j体育生gay网站,八重神子拷问室下载安装教程,91n免费处女在线破视频+进https://www.ihqksqt.com:2087/1035.html
{!! riqi() !!},四川广元朝天区召开各民主党派、无党派人士“参政为公、实干为民”主题教育动员部署会,日韩小视颖,馃敒馃埐銑欙笍,speaking视频实践2,秋葵app视频
{!! riqi() !!}|2026上海浪琴环球马术冠军赛在上海久事国际马术中心举行|中国一级特黄高清大片|sm调教tk白嫩脚心丨ⅤK|993tv|50度灰猎奇版下载安装教程
{!! riqi() !!}|朋友圈发照片可能造成泄密|亚洲三级无码|搞A|xxxx.|男女运动小视频原声18
{!! riqi() !!}|警方通报山西临县一驾校“快速学车,文盲包过”:将严肃追究相关人员责任|有机z中国2023中国在线播放|福利姬福利库|qukanpian最新版|码兔费视频……
![]()
{!! riqi() !!},一季度营业收入同比增长10.6% 广州文化新业态发展势头迅猛,香蕉文化-漫画动漫小说,一级久,开户猎手(破解版).apk下载,天堂网а√
{!! riqi() !!},蔡志忠发起“文博共同体”倡议 呼吁共建联结世界的桥梁,日韩三区,美女免费操,亚洲日韩视频,www17ccom
{!! riqi() !!}|学中文看不懂“一把把把把住了”?“汉桥”智能体一键帮你捋明白|91呦女|抖阴登录入口即化|激情五月天最新网址|17.c隐藏入口跳转页
{!! riqi() !!},跟着边防民警一分钟 沉浸式体验进山驻勤的一天,9分钟52秒和6分钟津渝,男生困困女生困困视频下载方法,姬小满比基尼游泳跳舞视频,陈三奔驰车干白结制作方法
{!! riqi() !!},推行常住地提供基本公共服务 多项增量政策回应急难愁盼,下载一级欧美视频安装,在线丨暗呦小u女一区,旭东软件园下载,我的娇妻小说阅读
{!! riqi() !!},云南民族博物馆升级推出沉浸式互动剧本《未尽的星火》,3p视频免费,国产福利第二页,xv破解版,色偷偷色
{!! riqi() !!}|“借灾营销” 法理情理都不容|日韩视频免费在线|一区二区久久久|极品夹子做爱版本|伊甸园 永久免费网站
{!! riqi() !!}|重庆举行水库大坝安全管理应急示范演练 机器狗、水下机器人齐上阵|国内一级A片|鸥美又紧又湿又粗又长的App|中文一级片|国产亚洲大片aa入口17c
{!! riqi() !!}|新疆乌恰:伪装零食寄递假烟 公安联合烟草部门严格查处|听雨乐这里只有精品狼牙|网站免费黄|久章草在线影院免费视频|日本欧美A片
![]()
{!! reci() !!},{!! reci() !!}|全球利率震荡 LPR以静制动|日本色图区|婷婷丁香综合|姐夫不要这样|免费剧烈运动扑克视频软件下载
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺