猫眼电影
猫眼电影记者 陈意依 报道x
机器之心编辑部
「语言是离散的,但语言模型不一定是。」
去年,一个名为 LLaDA 的项目在 AI 圈引发了不小的讨论。这个基于「掩码扩散」原理的语言模型,宣称在若干基准测试上能与同规模的自回归大模型(即 GPT 为代表的逐字生成模型)一较高下。
消息一出,扩散语言模型(Diffusion Language Model,DLM)这个此前略显小众的研究方向,突然进入了更多人的视野。
我们知道,文字是离散的 token,而扩散模型天然擅长处理连续数据,这让视觉生成领域的主流技术,天然地难以运用在语言大模型上。
而在 LLaDA 说明扩散模型可行后,各路团队相继跟进。研究者们普遍承认,扩散模型在文本生成上确实大有潜力 —— 它天然支持并行解码,理论上可以比逐字输出的自回归模型快得多,也更容易实现「填空」、「双向修改」等自回归模型难以完成的任务。
在这一大方向上,研究者走出了两条路:
离散扩散语言模型(Discrete DLM):直接在 token 空间里定义扩散过程,比如用 MASK 遮盖 token 再逐步还原(MDLM)、或者把 token 往均匀分布扩散再逐步修正(Duo)。这条路近年来一直是主流,效果更好。连续扩散语言模型(Continuous DLM):先把 token 映射到连续的嵌入向量,在连续空间里做去噪,最后再转回 token。这条路理论上更优雅,但实际效果长期落后于离散派。
何恺明团队的这篇新论文则选择了明显更加困难的后者。
他们提出的模型叫做ELF(Embedded Language Flows,嵌入式语言流),核心思路只有一句话:把扩散过程搬进连续的向量空间,只在最后一步才把结果翻译成词
论文共一作者 Linlu Qiu 的推文
实验结果显示,这个思路不仅可行,效果还出人意料地好:用不到其它方法十分之一的训练数据,生成质量就已经全面领先。
论文标题:ELF: Embedded Language Flows论文地址:https://arxiv.org/pdf/2605.10938v1代码仓库:https://github.com/lillian039/ELF
何恺明的答案:只在最后一步变成词
这篇论文来自 MIT 的一支八人团队,其中两位是共同第一作者(胡珂雅和 Linlu Qiu),通讯作者则是计算机视觉领域的标志性人物之一 ——何恺明
何恺明的名字,对于稍微了解深度学习历史的读者并不陌生。2015 年,他在微软亚洲研究院提出了残差网络(ResNet),一举解决了深层神经网络难以训练的瓶颈,这篇论文至今仍是 AI 领域被引用次数最多的论文之一,其提出的残差连接结构已渗透进 Transformer、AlphaGo Zero、AlphaFold 等几乎所有现代 AI 系统。2024 年,他从 Meta AI 加盟 MIT,开始系统研究生成模型。
「我看到何恺明的论文,我就点进去。」
ELF,是这支团队迄今在语言生成方向上最独具一格的创新。
既然扩散模型最擅长处理连续空间,何不让它在连续空间里走完整段旅程,只在终点才做一次「翻译」?
具体来说,ELF 的做法是这样的:
首先,把一句话的每个词,通过一个预训练好的编码器(论文中使用的是 T5 编码器),转换成一组连续的高维向量。这个向量不只代表单个词,而是捕捉了上下文语义的「语境嵌入」。
然后,用「流匹配」(Flow Matching),一种近年在图像生成中大行其道的连续扩散框架,在这些向量上做去噪:从一团高斯噪声出发,沿着学到的速度场,一步步把噪声推向干净的嵌入向量。
最后,也只有在最后这一步,ELF 才把去噪后的连续向量,通过一个「反嵌入层」映射回词汇表,输出具体的词。
与之前的连续扩散语言模型不同的是,ELF 在整个去噪过程中,从不中途把连续向量变回到词的空间。不打断流动的连续性,让扩散动力学有最大的自由度。而正因为全程都在向量空间里,图像扩散领域开发的各种技术可以几乎原封不动地搬进来使用,比如「无分类器引导」(Classifier-Free Guidance,CFG)。
一个网络,两种模式
ELF 设计上另一个值得一提的巧思,是用一个网络同时承担「去噪」和「解码」两个功能,靠一个「mode token」来切换。
训练时,同一个网络的 80% 时间用于学习去噪(MSE 损失),剩下 20% 时间学习如何把最终的嵌入向量映射回词(交叉熵损失)。
推理时,在最后一步之前,网络一直处于去噪模式;到了最后时刻,它切换成解码模式,将连续向量翻译成词输出。这样,不需要额外训练一个独立的解码器,整个流程简洁而统一。
此外,ELF 还引入了「自条件」(Self-Conditioning)机制:网络在每一步去噪时,可以把自己上一步的预测结果当作参考输入,而不是从零开始猜测。这不仅提高了生成质量,还为 CFG 提供了现成的「条件信号」来源,几乎不带来额外的计算负担。
实验结果:用十分之一的训练量,碾压对手
论文的实验结果很有说服力。
研究者选取的基准测试,是扩散语言模型领域通行的标准设定:在 OpenWebText 语料库上训练,用生成困惑度(Generative Perplexity,值越低越好,代表生成文本越流畅自然)和词汇熵(Entropy,值越高越好,代表生成多样性越丰富)衡量质量。
ELF 只用了 32 个采样步数就达到了困惑度 24。 相比之下,目前主流的离散扩散语言模型(MDLM、Duo 等)即便经过专门的「蒸馏」训练来加速推理,在同等步数下的表现也不及 ELF,而 ELF 完全没有做蒸馏。
训练成本的差距更加悬殊。论文统计,MDLM、Duo、FLM 等主流方法各自使用了约 5000 亿个 Token 的训练数据,ELF 只用了约 450 亿 ——大约是它们的十分之一
在更具实际意义的条件生成任务上,ELF 同样表现突出。在 WMT14 德英机器翻译基准上,ELF 取得了 26.4 的 BLEU 分数,超过了同等规模的自回归模型(25.2)以及 MDLM(18.4)、CDCD(24.9)等对手。在 XSum 新闻摘要任务上,ELF 在 ROUGE-1、ROUGE-2、ROUGE-L 三项指标上也均居首位。
过去两年,扩散语言模型的研究进展几乎都集中在离散空间 —— 更精巧的掩码策略、更高效的解码方式、更大规模的训练。连续扩散路线因为与语言「离散本质」之间存在天然张力,一直处于相对边缘的位置。
ELF 的出现,提供了一个不同的参照点:连续扩散不是语言建模的障碍,而可能是一个尚未充分开发的优势所在。连续空间里的流动更平滑,更容易借用图像生成领域积累的技术,也更容易做引导和控制。ELF 在规模测试中表现出的良好扩展性(从 1 亿参数到 6.5 亿参数,质量持续提升),也说明这条路上仍有相当大的空间。
当然,ELF 目前的评估还主要停留在中等规模模型和学术基准测试上。它能否在更大规模、更广泛的任务上与当前最强的自回归大模型形成真实竞争,还有待后续验证。但就当下的结果而言,它至少清晰地回答了一个悬而未决的问题:
连续扩散语言模型,似乎终于找对了方法。
更多详情,请参阅原论文。
时事1:狠狠干2020
11月21日,香港各界:黎家盈入选神二十三乘组彰显香港科创实力,据宁夏贺兰山东麓葡萄酒产业园区管委会相关负责人介绍,目前,产区已建成全域产业大数据平台,整合60.6万亩种植基地、136座酒庄风土、生产、酿造全维度数据,为产业规范化、标准化发展提供坚实支撑。在贺兰山东麓,数字技术贯穿种植、酿造、销售各个环节,持续优化产区产业发展格局。,伊人亚洲。
11月21日,嘴馋别只怪自制力差 或许你的身体缺这些,五是示范创建更加深入。去年新命名了一批生态文明建设示范区和“两山”实践创新基地,并且对前三批命名地区完成了复核。召开“两山”理念20年座谈会,系统总结实践成效。“2025生态文明建设年度人物”也在上周国际生物多样性日的现场揭晓,第四届中国生态文明奖评选也即将启动,进一步凝聚全社会共建美丽中国的强大合力。,视色视频,插入妹妹小穴,男人桶女人的肌肌app。
时事2:装睡让儿子曰
11月21日,“贵阳·超时尚——非遗时尚秀”首秀举行,本期单位新能源小客车指标申请共计44926个有效编码,申请总数大于指标配置总数,按照规定,将配置单位新能源小客车指标5000个,其余审核通过的有效申请编码按照规定继续轮候。,久久一起草,影音先锋资源,别告诉妈妈app免费下载。
11月21日,立体交通织就发展新图景 无锡阳山借路网蝶变激活江南桃源新活力,以普法宣传为抓手,夯实依法治理的思想基础。健全常态化学习教育机制,将民族团结进步促进法纳入各级党委(党组)理论学习、“第一议题”学习和干部教育培训必修课程,实现全员学习、常态研学。组建成员专业化、内容本土化、语言群众化的宣讲队伍,用接地气的语言解读法律条文。将民族团结进步促进法纳入“九五”普法重点任务,统筹高校科研力量开展专题研究。,18岁macbookpro45岁,性欧黄,男人天堂黄色网。
时事3:92国产午夜福利1000集2019年
11月21日,广西实现县级中医医疗机构全覆盖 优质资源下沉基层,此次广东站活动,驻华外交官深入广州、深圳、佛山等地,通过考察文博场馆、历史文化街区及高科技企业,全方位感知广东在文化遗产保护、文旅产业升级及乡村振兴方面的卓越成就。,黄色软件破解版,精品秘 无码一区二区三区老师,美女网站涩免费看在线看www。
11月21日,双汇猪肉抗生素超标近38倍,本届展会以“秦药链动丝路 中医赋能健康”为主题,吸引来自20多个国家和地区的采购商、企业代表等,搭建起面向世界的中医药经贸文化交流平台。500余家企业集中亮相,完整展现从药材种植、加工提取、制剂生产到智慧诊疗、康养消费的中医药产业全链条图景。,美国91,婷婷亚州不卡无毒,亚洲精品久久久久久宅男。
时事4:有没有看A片的网站
11月21日,伊朗军方:若敌人再发动侵略 将启用新装备、新战法,“苏叶背着债务回到故乡,却在这片土地上重拾了学医的初心。从最初只想着解决自己的麻烦,到后来带领乡亲建立生态药材合作社,她完成了一个从‘小我’到‘大我’的精神蜕变,这种成长极具魅力。”饰演苏叶的演员许晓诺说。,PO文优质棒攻略系统寀,A片视频软件,下载久九网站。
11月21日,首个首次首艘!我国硬核实力再上新,中新网银川11月20日电 (记者 杨迪)11月20日,宁夏回族自治区人民医院举行中国(宁夏)援贝宁“光明行”医疗队欢送仪式,7名医疗队队员将远赴贝宁,计划完成300例白内障复明手术。,笔盒网址永久发布收藏,欧美AAAAAA片,关于强奸视频的APP。
责编:赖宜君
审核:冯紫儒
责编:张莉勋












