亚洲精品乱码久久久久99 最近更新|更新列表|字母检索|下载排行|苹果专区|分类导航

当前位置:首页 → 电脑软件 → 男子44岁脑梗半身不遂48岁能单手倒立 → 亚洲精品乱码久久久久99 v9.14.9780 安卓免费版

亚洲精品乱码久久久久99

亚洲精品乱码久久久久99

  • 电脑版下载
猜你喜欢
标签: 亚洲精品乱码久久久久99 多肉刚剪下来能插吗
详情
介绍
猜你喜欢
相关版本

内容详情

亚洲精品乱码久久久久99

本篇论文已被CVPR2026接收,第一作者官同坤来自上海交通大学人工智能研究院博士生,导师是沈为教授和杨小康教授。

当多模态大语言模型(MLLMs)在面对科学、技术、工程和数学(STEM)领域的视觉推理题时频频「翻车」,一个根本性的问题摆在了所有研究者面前:大模型做不出理科题,究竟是因为「脑子笨」(推理能力受限),还是因为「眼神差」(视觉感知缺陷)?

为了回答这个问题,来自上海交通大学和 Qwen 等研究团队通过将任务分解为两个阶段进行系统性的扩展分析:视觉感知(图像到描述)和推理(仅基于文本描述解决问题)。他们分别扩展感知和推理能力,同时保持其中一个能力不变。结果表明,扩展感知能力始终比扩展推理能力带来更大的性能提升。这一经验证据揭示了一个关键见解:在当前阶段,感知才是限制大模型 STEM 视觉推理的真正瓶颈所在。

基于这一深刻洞见,该团队提出了一种全新的范式——CodePercept(代码驱动的视觉感知),并成功被计算机视觉顶级会议CVPR 2026接收。

开源地址https://github.com/TongkunGuan/Qwen-CodePercept论文标题:CodePercept: Code-Grounded Visual STEM Perception for MLLMs论文链接https://arxiv.org/abs/2603.10757

核心洞见:打破自然语言的

「描述性失语」,用代码重塑感知

近年来,随着 RL(强化学习)的爆发,研究者们试图通过复杂奖励机制提升大模型在 STEM 领域的跨模态推理能力。但研究团队将 STEM 视觉推理任务解耦为「感知(图像到描述)」和「推理(仅基于描述进行解答)」两个阶段后发现:扩展感知能力带来的性能提升,始终优于扩展推理能力。

既然「感知」是最大短板,那该如何评估并提升它?

痛点一:自然语言描述存在幻觉以及「描述性失语」

直觉上,用强大的闭源大模型生成图像描述(Caption)进行知识蒸馏是个好办法。但团队指出了自然语言在 STEM 领域的致命缺陷——「描述性失语」。复杂的空间几何关系、精准的数值坐标、多面体中错综复杂的辅助线,根本无法仅凭自然语言来准确、完整地刻画,且极易产生幻觉。

解决方案:面对这一痛点,研究团队提出将可执行的 Python 代码作为强大的视觉感知媒介,并从两个维度进行了范式重构。他们提出代码作为一种强大的媒介,通过两项基于代码的任务显著增强 MLLM 的视觉感知能力:

1)代码驱动的描述生成(Code-Grounded Caption Generation):基于代码的图像描述生成,利用可执行代码作为生成图像描述的真实标签,有效消除 AI 生成的描述错误(图像 + Code -> Caption);

2)STEM 图像到代码转录(STEM Image-to-Code Translation):直接训练模型生成可执行的重建代码,消除自然语言描述固有的歧义(图像 -> Code)。

痛点二:现有评估体系无法剥离「感知」与「推理」

现有的基准测试(如 MathVista、MathVerse 和 MathVision)通过最终任务问题解决准确率来评估 MLLM 的能力,这结合了 STEM 领域的感知理解和推理能力。当模型失败时,我们无法确定失败是源于感知缺陷还是推理能力不足。虽然最近的研究采用了两阶段评估范式(先进行图像描述,再进行 LLM 求解)来分离 MLLM 的感知能力,但该指标仅反映了模型理解问题相关信息的能力,而非全面的视觉感知能力。为了弥补这一不足,我们提出了一种确定性且可验证的范式,该范式要求模型生成能够忠实再现原始图像的可执行 Python 代码。只有通过完整且准确的视觉理解,模型才能成功地、高保真地再现原始图像。

解决方案:面对这一痛点,研究团队认为,要求 MLLM 生成用于图像重建的可执行 Python 代码,能够最严格地验证其感知能力。这一原理简单而强大:只有当模型完全理解视觉信息时,才能实现精确的图像再现。

基于此原理,他们推出了 STEM2Code-Eval:一个包含 1000 张图像的手动标注基准测试,旨在检验模型生成用于图像重建的可执行 Python 代码的能力,从而对视觉感知能力进行确定性和可验证的评估。

数据基石:百万级三元组数据集 ICC-1M

为了让代码成为感知的有效媒介,研究团队构建了ICC-1M 数据集,包含 100 万个高质量的图像-描述-代码(Image-Caption-Code)三元组。该数据集通过三大创新流水线合成:

图像复现(Image Reproduction):将现有 STEM 图像精准转化为可执行的 Python 代码。

图像多样化(Image Diversity):提取种子图像的核心 STEM 原理,并在不同的视觉语境中重新实例化,确保生成极其丰富的新颖图像。

立体几何合成(Solid Geometry Synthesis):专门针对当前多模态大模型在立体几何空间关系上的短板,开发了基于模板的立体几何代码生成流水线。

所有数据均需通过严苛的三阶段统一质量控制(图像质量、代码质量、图码一致性验证),确保训练信号的绝对精准。

训练双引擎:两项「代码驱动」学习任务

基于 ICC-1M 数据集,CodePercept 提出了两项开创性的训练任务,系统性提升感知能力:

1、代码驱动的描述生成(Code-Grounded Caption Generation):将可执行代码视为图像描述的「绝对真理」,利用代码分析中的确凿事实(如坐标、数量)进行重写,彻底消除了传统视觉语言模型固有的数字和几何幻觉。

2、STEM 图像到代码转录(STEM Image-to-Code Translation):直接引导大模型生成包含详细注释的「解释性重建代码」,这不仅消除了自然语言描述的模糊性,还迫使模型深刻理解「观测特征」与「代码片段」之间的内在映射法则。

在训练策略上,团队采用了两阶段学习法:

1、第一阶段:SFT(监督微调,CodePercept-S1)。Code 本质上是一种格式化的 Caption,所以联合优化 Image2Caption 与 Image2Code 任务,使模型建立强大的感知能力;

2、第二阶段:强化学习(CodePercept-R1)。鉴于代码生成的容错率极低,团队引入了 GRPO 强化学习专属优化代码生成。模型不仅需要拿到「格式奖励(语法正确)」,还要通过更严苛的「内容执行奖励」与「图码相似度奖励」,在不断的自我试错中实现能力的指数级跃迁。

硬核评测与惊艳结果

传统评测往往用「解题正确率」来衡量感知,这不仅存在误差,还容易遗漏未考查的视觉细节。为此,研究团队推出了STEM2Code-Eval Benchmark。这是一个包含 1000 张经过人工精校图像的评测基准,它要求模型直接生成 Python 代码来 100% 还原原始图像,提供最确定、最可验证的视觉感知评估底线。

基于 Qwen3-VL 架构的实验结果令人震撼:

解题端(Captioner-Solver)表现:在同样的推理求解器下,CodePercept-8B-S1 竟然超越了比其大得多的开源巨头 Qwen2.5-VL-72B(优势达 6.2%),甚至逼近了 Claude-Opus 4.1-Thinking 和 GPT5-Thinking 等闭源前沿模型的水平。

视觉重构(STEM2Code-Eval)表现:在纯粹考查感知的图像还原任务中,经过强化学习优化的 CodePercept-8B-R1 斩获了 63.56 分的佳绩(较基座提升 3.92 分),全面碾压了 Seed 1.6-Vision 和 Qwen3-VL-Plus 等超大参数规模的旗舰模型。

CodePercept 的出现不仅仅是一个新模型的诞生,它更宣告了多模态大模型在解决复杂科学问题时的一条新航线:只有给大模型装上基于代码逻辑的「火眼金睛」,真正的复杂推理之门才会被彻底叩开。

相关版本

    多平台下载

    • PC版

      亚洲精品乱码久久久久99 v1.865.5773 最新版

    • Android版

      亚洲精品乱码久久久久99 v4.347 安卓免费版

    查看所有0条评论>网友评论

    发表评论

    (您的评论需要经过审核才能显示) 网友粉丝QQ群号:766969941

    查看所有0条评论>>

    相关软件
    国内久久 草莓app下载污 99久久久999 大胆露脸自拍贵在真实 在线播放長腿正妹被插到受不了,想跑還被抓回來繼續幹..... 在线播放 - 高清资 自w喷泉网www999999999999 欧美做受   高潮8 x7x7x7槽2024更新 男人的 伸到 里是什么感觉 黄色软装安装 男人吃女人奶头视频 pornhub免费 美女被男生操 火影忍者奖励视频网站 亚洲一级无码 老女人AV搜索结果 富婆老妇性按摩XXXHD 免费 成人 深夜下载安装 亚洲爱爱网 www.羞羞的视频 超级碰在线视频 王馨瑶自慰到喷水视频 3344在线免费视频 麦晓雯本子在线看 儿插 xxxx91 人人人 成人精品亚洲 成人网址大全 国产99久久国产精 大色欧美 91精品视频在线 9.1安免费版 91漫 3a毛片 婷婷丁香五月激情 www.aaaaaa 国产五区 97人人操 fi11研究所免费进入方法 鲁大师在线视频 国产乱一区 亚洲精品一区二区三区蜜桃久 亚洲精品蜜桃久久久久久久 看稞体美女 女人av天堂 久久99热机热 A∨网址 rule34安卓安装包获取 三级视频网站 *https://xss5.xss14.com/qzmfcpnt-35 亚洲人做受 高潮1 东北一家人乱坑txt 男女日B视频 欧美大片在线视频 少妇学院 得吃top官网登录入口 cos自慰免费观看 久久久精品人妻 脏漫 女校 脱 给揉 久久精品app Пhd 伊人综合在线观看 杨幂换脸视频 别让妈妈知道网页版登录入口 黄污官方网站 汅动漫在线观看全集免费 成人V片 外国成年人 开户猎魔(破解版)_1.0.0.apk照妖镜 紫薇mv免费观看2023年最新版特色 正在播放:【传媒】 TMW200色公公NTR巨乳媳妇 - 17 男生 男生 里 黄色软件下载www 韩国r级电影排行 百度一下久久性搞 男生女生一起愁愁愁免费下载 无码抖音app 视频区自偷自拍 黄色视频在线观看链接 4438视频 爱液视频在线观看18 婷婷五月花App下载 国产黄色软件 纲手恶作剧漫画完整版 亚洲十八岁禁止网站 今日海角登陆hjdo240.ccm 美女视频无遮挡无害羞网站免费 黄色免费网站入口 91学生秘 片黄com真人 无限欧美资源 洛洛酱紫 jjzz00国产 亚洲黄色精品 黄色软件免费在线观看 啊∽你tm别舔了快进来网址 sse9-cc 丁香六月综合网 51tv.xtv午夜福利 我和嫂子在车上 我的世界珍妮被燥 app黄色视频 精品秘 入口ThePorn 欧美精品V 欧美人人人 xxnx15 国产亚精19区 喷水 www.国产.com 日本大片久久爽天天爽 产品日亚韩精品综合 你懂得在线 禁片天堂 julia巨乳 gaysgays男男免费 slzj12138 99精品国产免费久久久久久下载 体内射精汇编 插逼啊啊啊
    热门网络工具