搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

混元下一代模型、RSI与安全,姚顺雨团队凌晨回应

2026-11-21 18:44:58
来源:

猫眼电影

作者:

王文桦

手机查看

  猫眼电影记者 黄月舜 报道x

连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。

北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。在两小时的集中问答中,混元团队谈到了下一代模型扩大规模的计划,也承认递归自我改进(RSI)能力仍处于早期阶段,创意写作和可读性仍有提升空间。

三天前发布的腾讯三季报显示,公司单季资本开支升至814.33亿元。腾讯所需的高端GPU仍受到供给限制。管理层在业绩会上表示,无论是租赁还是自建算力都面临约束,模型训练不可避免会受到影响,短期内可能需要更长时间才能推出下一个版本的混元模型。

在此次问答中,混元团队回顾了Hy4训练开始前的另一种不确定性。从Hy3扩展到Hy4,对数据方案的消融实验不够充分,团队带着不少不确定性启动了训练。“说实话,训练刚开始时,我相当紧张。”一位团队成员在回答中说。

新京报贝壳财经从中挑选部分回答并进行了转述,以下是部分转述内容。

腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队回答Reddit用户提问。Reddit截图

下一代模型还要做大

11月,混元连续发布Hy4和Hy4 flash,前者总参数量达到770B,后者则是蒸馏出来的更小参数模型,总参数量为224B,其中包括64B Engram参数,激活参数为12B。在三季报电话会中,腾讯提出,低成本的flash模型能吸引免费用户,有更多功能需求的用户则可以转为订阅用户,使用更大的模型。

混元团队表示,比起编程能力来说,Hy4和Hy4 flash的训练依然更面向通用用途。未来可能会推出mini(更小尺寸的模型)、24—31B的稠密模型、例如35B-A3B的“Flash Lite”模型等轻量模型,也会考虑推出更小的图像、视频模型。

混元团队也在计划训练更大的模型,并依然相信Scaling law(规模定律)。“Hy4仍有很大的提升空间,尤其是在后训练方面。混元正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。”

对于字节跳动和Kimi等公司正在推进参数量达到3T、5T的超大规模模型,而混元仍在700B量级的问题,混元团队表示,做得扎实的较小模型,也可以胜过更大的模型,更重要的是成本低。混元也没放弃大参数模型,下一代Hy模型的规模一定会进一步显著扩大。

递归自我改进仍在早期

让AI参与自身研发、再用改进后的能力继续迭代,是递归自我改进(RSI)所探索的方向。混元团队表示,其RSI能力仍处早期,已开发内部基准评估相关能力。

AI也在参与数学等领域的研究。Anthropic此前披露,Claude在与黎曼猜想有关的数学问题上取得进展。混元团队表示,正在积极投入用于科学研究的强化学习技术,同时重视安全性。混元此前也推出科研智能体Hyra 2.0。

有人对Hy4正式版的“过度思考”提出疑问,认为模型仍会花太长时间推理。对此,混元团队表示,Hy4的目标是尽可能提升智能水平,因此思维链(CoT)过长是一个已知问题。不过,这也使混元能够将其蒸馏为Hy4 flash。对于flash,则通过强化学习来确保思维链较短。混元团队同时表示,在后训练阶段,过度思考是最难改善的行为。

有用户表示,模型能否把事情解释得更易读、更好理解,是其选择模型的重要原因之一。目前,Arena、EQ-Bench等也设有针对模型创意写作能力的榜单或测评。混元团队认为,创意写作和可读性非常重要,但混元仍有提升空间,正在将其作为重点改进方向。

针对用户提出的智能体编程任务覆盖范围,混元团队表示,训练涵盖3D、大型单一代码仓库、短时零样本任务、文档编写与代码更新等场景,也关注代码可理解性,以及长程自主运行中的代码整洁性,同时重视任务多样性。

安全训练侧重防御,过度拒绝是重要方向

渗透测试、逆向工程等任务具有攻防双重用途。有用户询问,较强的安全调优可能让开放模型拒绝基础的渗透测试、逆向工程或CTF(夺旗赛)任务,混元如何避免对此类提示过度拒绝?

混元团队表示,网络安全训练重点关注防御性任务、漏洞分析和修复,排除以漏洞利用和进攻性攻击为主的数据,并通过红队评估识别潜在风险。避免过度拒绝,仍是一个重要的改进方向。

有用户进一步指出,漏洞发现和逆向工程也用于恶意软件分析、取证调查及安全防御,限制这些能力可能影响防御团队的工作。对此,混元团队仅表示,根据内部评估,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。

智能体执行任务时的行为也受到关注。10月,有海外团队发布报告称,一批运行于腾讯云基础设施上的AI智能体,在查询高德地图信息时尝试绕过访问限制。混元随后表示,相关活动源于对第三方模型的测评,部分智能体出现意外的网页浏览行为,审查未发现任何故意针对或协调的证据,并称正在加强网络访问控制和智能体监控。

此次AMA中,混元团队表示,会在整个训练和评测过程中监控潜在的投机行为和对齐偏差问题,发现问题后修复相应环境,并使用允许列表和阻止列表控制网络访问。“评测时发现前沿模型有很多钻空子的方式,会反复修正环境和列表。”

新京报贝壳财经记者 韦英姿

编辑 俞金旻

校对 赵琳

  时事1:91.kanone

  11月21日,(乡村行·看振兴)山西灵丘复种老品种玉米 探索本土作物产业路径,在空间生命科学领域,利用斑马鱼胚胎、小鼠胚胎,以及干细胞构建的“人工胚胎”,探索建立从低等脊椎动物到高等哺乳动物的太空胚胎研究体系,稳步推进“空间生命孕育”相关科学问题的系统性研究;,亚洲 欧美A。

  11月21日,muShanghai国际科技火人节启动 全球顶尖技术人才跨界碰撞,从长远看,我们都已经死了。,亚洲最大久久,一级A黄视频,AAAAAAAAA片。

  时事2:cos福利姬

  11月21日,新增23种产品!工信部公告新版电器电子产品有害物质管控产品目录,回溯事件经过,5月2日,吉某驾车载着8000余斤苹果从陕西赴湖北售卖。途中他突感身体不适,经检查被确诊为急性脑梗。经医护人员全力施救,吉某目前已脱离危险,但无法正常活动,需长期接受康复治疗。闻讯赶来的吉某妻子,寸步不离地守在病床前照料丈夫,可她并不会驾驶车辆,随车运来的苹果被“困”在了医院。,晓青老师的丝袜,绿巨人app免费破解无限观看,17.c嫩草 久久。

  11月21日,坚持有腐必反、有贪必肃,近期一些社会调查还显示,移民、住房资源、基础设施承载能力等问题,正重新成为部分选民关注的话题。,A片免费资源,污的网站在线观看,色色偷。

  时事3:亚洲18禁止

  11月21日,50秒解码汉坦病毒传播“全链路” 从邮轮到多国的惊险之旅?,相关研究表明,树冠羞避可能因为树木叶芽的光敏素能够通过感受反向散射的远红光信号,识别其它树木“邻居”的类型和距离。如果接收到的光减少,就说明需要停止生长了,避免自己的枝叶伸入临近树木的阴影下。,91久久久久久久18,国产一久久,www. 色。

  11月21日,北京发布36项市级计量技术规范 涉及新型材料等领域,这种花是天然“消炎药”还能增强免疫力 有几类人要慎用,美女网站永久免费脱光,91n免费处女在线破视频+进https://www.aanwgsk.com:2087/1035.html,污app在线。

  时事4:AA黄色片

  11月21日,文脉华章|泱泱中华 文脉不息,骗子等的就是这一刻。他们会立刻抓住这些生理反应进行现场洗脑:“看,这就是宇宙能量进入你身体的表现!”“你感受到了吗?疗愈正在发生!”,战锤大战福瑞原版,亚洲天堂色图,深夜18禁。

  11月21日,“为非中经贸合作开辟更广阔的前景”——访埃及埃中商会秘书长赫尔米,听着不能下载的音乐,爱着回不来的人。,17.c.om起草,火辣辣福利导航,天堂av蜜桃一区。

责编:李培丰

审核:张俊杰

责编:陈子欣

相关推荐 换一换