国产9页 最近更新|更新列表|字母检索|下载排行|苹果专区|分类导航

当前位置:首页 → 电脑软件 → 工程师调岗变流水线工人获赔25万 → 国产9页 v8.151 安卓版

国产9页

国产9页

  • 电脑版下载
猜你喜欢
标签: 国产9页 大片免费xxxxx
详情
介绍
猜你喜欢
相关版本

内容详情

国产9页

视觉语言大模型(VLMs)已经可以轻松完成诸多复杂的场景理解和视觉问答,但是模型对场景的理解真的和人类一致吗?

先前的诸多计算机视觉研究都指出,看似模型和人类都能在相同的任务达到相同的水平,甚至模型可以超越人类的水平,但是模型和人类依赖的却是不同的特征,从而在很多情况下表现出和人类不一致的行为。

来自加州大学圣塔巴巴拉分校的研究者指出,不论是开源还是闭源的视觉语言大模型对于场景中物体的重要性的理解和人类存在显著不同,视觉语言大模型尤其依赖于场景中物体的大小,居中程度,低级显著性,而对场景中的物体是否是人类并不敏感。

论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency论文链接:https://arxiv.org/abs/2605.13047项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency

贡献一:量化场景中语义显著性的模型评估方法

为什么需要黑盒方法

现代视觉语言大模型参数规模巨大,而且大量模型是闭源的,传统的"白盒"可解释性方法(例如可视化注意力图、梯度热力图)要么无法使用,要么难以揭示真正起因果作用的特征。为此,论文提出了一种适用于所有开源和闭源模型的黑盒评估方法,以量化场景中物体对 VLM 给出的场景描述的影响。

反事实语义显著性:移走一个物体,看描述变了多少

反事实语义显著性(Counterfactual Semantic Saliency, CSS)的基本思路就是通过因果干预(Causal intervention),分别检验每个输入元素对输出的影响,来确定场景中每个视觉元素对于场景语义的影响。如果移除场景中的显示器对场景的语义造成了最剧烈的变化,则说明显示器是理解场景最为关键的元素;反之,移除场景里的插座并不会对场景语义造成变化,则说明这些元素的语义显著性不高。

贡献二:反事实场景的人类数据集

307 张原始场景 + 1306 张反事实场景

为了对比人类和模型在场景理解上的差异,研究者基于视觉显著性研究中广泛使用的OSIE 数据集,构建了一个由 307 张原始场景,以及 1306 张反事实场景组成的数据集。其中每个原始场景对应 3-6 个反事实场景,在每个反事实场景中都有一个对应的物体被移除。

227 名被试、16603 条描述构成的人类基线

论文通过 Prolific 平台收集了 227 名人类被试的场景描述数据。为了避免记忆效应和前后干扰,实验采用被试间设计:对于含有 N 个目标物体的场景,原图和 N 张反事实图被分配到 N+1 组互不重叠的刺激集中,每组由约 10 名独立被试完成,确保对于同一个原始场景及其反事实变体,每名被试只会看到其中一个。研究者共收集16665 次试次,剔除与其他被试描述明显不一致的低质量回答(约 0.3%)后,最终保留 16603 条场景描述,每张图像约有 10 条(9–11 条)独立描述,由此构成人类基线。

贡献三:模型在场景理解上和人类表现出显著差异并且依赖于不同特征

19 个模型,无一达到人类水平

研究者评估了19 个主流的开源和闭源视觉语言大模型,涵盖 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等系列。结果显示,所有模型在场景理解上都和人类存在显著差异:无论是判断场景中语义显著性最高的物体,还是给同一场景中的物体排重要性顺序,模型都显著落后于人类之间的一致性水平。

四种假设:大小、居中、低级显著性,还是"人"?

为了进一步理解导致模型和人类在场景理解上的差异的原因,研究者基于人类视觉研究以及深度学习模型偏差的过往研究,提出了四种可能影响场景理解的假设:

1. 大小敏感性(Sensitivity to Size):物体刺激大小是人类视觉注意力的重要线索之一,而过往研究也表明,物体识别类深度学习模型会过度依赖物体大小。研究者用分割掩码的面积来衡量物体大小。

2. 中心敏感性 (Sensitivity to Center):人类视觉天然会关注画面中心的物体,同时诸多视觉模型是在以物体为中心的数据(如 ImageNet、MS-COCO)上训练的。研究者用物体中心到图像中心距离的负值来衡量居中程度。

3. 低级显著性(Sensitivity to Low-level saliency)敏感性:视觉注意力研究指出,颜色、亮度等低级视觉特征上的对比度会影响人类的视觉感知;也有研究指出,视觉模型可能更偏好低级视觉特征,而不是高级语义信息。研究者使用传统的低级显著性模型 Graph-Based Visual Saliency(GBVS)来量化图像中的低级显著性,并以物体所在区域内的低级显著性峰值作为该物体的低级显著性。

4. 人类敏感性 (Sensitivity to Person-Non-person):人类眼动研究指出,即使没有给定具体任务,人们也会优先观察场景中的人。目前还没有工作系统研究视觉语言大模型是否也有这种对人的敏感性。研究者通过 GPT-5.4 标注场景中的物体是否属于人类。

基于上述四种假设,研究者分析了物体的语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。结果发现,与人类观察者相比,视觉语言大模型显著更依赖物体的低级属性;相反,模型对"人"的敏感性显著低于人类观察者。 换句话说,模型更容易被又大、又居中、又醒目的物体"带偏",不论这些物体在语义上是否真的重要;而人类在描述场景时会被画面中有没有人强烈影响,模型却对此相对迟钝

大小偏好是造成人机差异的首要因素

既然模型在四种属性上的敏感性都与人类不同,那么到底是哪一种在主导模型"找错关键物体"?

研究者对每个模型计算两个"差距":一是该模型在某个属性上的敏感性与人类的差值(Δr),二是该模型 Top-1 准确率与人类的差值(ΔAcc)。然后在 19 个模型之间看这两个差距是否相关:如果某个属性上偏离人类越多的模型,找关键物体的表现也越差,那么这个属性就很可能是驱动差距的因素。结果显示,在四种属性中,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种属性均未达到显著水平。这也解释了文章开头的例子:白鸟在画面中占据的像素远多于鱼竿,模型对大小的过度依赖使鱼竿的重要性被掩盖,最终与人类的判断背道而驰。

白盒注意力图并不能告诉我们模型"真正在意"什么

长期以来,研究者常用注意力图或激活图来"看"模型关注了图中哪些区域。那么这些白盒方法能否得到与 CSS 一致的物体重要性?

研究者在开源模型 Qwen3-VL-4B-Instruct 上对比了三种常用的白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。由于模型是逐个 token 生成描述的,每个 token 都会对应一张热力图,研究者对所有 token 的热力图取最大值进行汇总,再取每个物体区域内的最大值作为该物体的重要性。

结果发现,这些白盒热力图要么杂乱无章,要么过于稀疏,经常聚焦在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至呈负相关。这说明,面对结构复杂的现代 VLM,被动观察式的可解释性方法很难揭示真正驱动模型输出的因果因素。

这项研究提出了反事实语义显著性(CSS)这一黑盒、与模型无关的评估框架,并结合大规模人类心理物理实验,系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人类会自然地关注场景中的人,而模型则默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是导致这一差距的最主要因素。在生成数据被大量用于模型训练的今天,"模型是否像人一样看世界"或许是一个同样值得关注的问题。

作者介绍:

本文第一作者温子奇,现为加州大学圣塔芭芭拉分校计算机博士生,研究方向为计算机视觉和认知科学的交叉领域:人类视觉建模,模型与人类的行为差异以及其原因。研究生毕业于卡耐基梅隆大学计算机学院( School of Computer Science),本科毕业于浙江大学计算机科学与技术学院。

相关版本

    多平台下载

    • PC版

      国产9页 v3.703.769 安卓最新版

    • Android版

      国产9页 v7.15.7052 IOS版

    查看所有0条评论>网友评论

    发表评论

    (您的评论需要经过审核才能显示) 网友粉丝QQ群号:766969941

    查看所有0条评论>>

    相关软件
    人妻导航 欧美精品在线观看 黄9·1窗口 AV网站免费下载 一级日韩黄色性爱影片AAA 嗯~cao~啊~好润~ 视频列表--麻豆 - 17 走光 黄色链接在线观看 禁止18在线观看完整版 少罗吃大狙免费观看高清百度 120人加勒比中出连发 亚洲人做受   高潮9669 亚洲色图五月天 处女呦呦 原神涩区× 黄漫下载 香蕉视频呦呦资 成人福利导航污 黄免费看 亚洲业余自拍网 99免费在线 鲁一鲁综合网国产精品 小红书18破解版观看免费 中国XⅩX在线 国产jjzz女人多水 午夜性做爰A片免费看京东 小鸡鸡进桃 中文人妻 黄色网A 国产视频2019 河北彩花 720p 下载 404黄台 婬荡公乱婬86 黄色aaa一级二级 26uuuuuuuu 人人操人人爱人人干 *https://xss5.xss14.com/qzmfcpnt-35 中国超帅Gay自慰网站 亚洲天堂一区啪啪啪888 插插女 少妇aaa 52gaoapp 人人妻人人干 久久思思视频 国产第19区 思思精品6 黄色视频在线观看2.0 我和嫂子在车上 色综合久久久久 男女kb视频 91超碰在线观看 埃及猫原版ankhazone不谢 好大好粗免费软件下载 17c一起草 污污 啪啪啪网站黄 干逼视频 啊啊啊综合网 二次元自我奖励素材视频大全 http://51cg1.com 2026年一区二区视频 货骚在玻璃窗前c爽吗 鬼灭之刃18手游官网入口 國產精品7777777 久久久久久久软件 男女又爽 又黄 免费 色浴导航APP 直接观看9.1 男人扒开女人秘 桶到爽非洲无遮挡 快手星野与光头哥原版 触手乐园by番茄 卫鲤被焯出白水视频 小蓝搜同网最新消息今天最新消息 欧美做爱网站 vore小镇 国产视频,欧美视频 超碰入口 高清一区高清二区高清三区 baoyu永远不迷路 打扑克不打马赛克 kht78.ppt 小蝌蚪视频污 vore丸吞小镇安装包 木叶丸捡到了纲手的鞋子番外片 中国x站 亚洲一二三四区 列车上小学生触摸模拟器 欧美牲最黄a级网站 国产福利网站 91n免费处女在线破视频+进https://www.kuquhhi.com:6699/35.html 浮力影院联通专线电信专线 向日葵樱花草莓榴莲秋葵 91视频精品 绝区零简78同人漫画在线观看 4388丝瓜视频 少妇综合 久久ri kxhs17 中文字字幕乱码在线电影 最新超碰在线 欢迎您访问52x导航草莓视频在线 spermatid pro 丰满大乳 HD 啪啪视频资源 色色婷婷五月天 日本美女网黄的免费观看 湘择南AV 69成人小說網app 色五月app: 九色网址 可乐福引导 久久精品黄色 国产成人福利视频导航 美女18+ cn.18嫩草 美国A片视频 色亚se 无码影院久久久躁 亚洲综合网站 91禁      游戏 久久久久亚洲AV无码专区成人
    热门网络工具