搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

CVPR 2026 | 1000万段驾驶视频,教会模型如何估计相机位姿

2026-11-21 19:18:20
来源:

猫眼电影

作者:

周紫来

手机查看

  猫眼电影记者 冯怡如 报道x

不用百万级 3D 标注,模型也能从普通驾驶视频中学会「自己是怎么动的」。Wayve 的 LA-Pose 试图把未标注视频里的运动信号,转化为自动驾驶系统所需的相机位姿估计能力。

一辆车驶过一段路,它该如何知道自己刚才在三维空间中怎样移动?

对人来说,答案似乎很自然:看一段行车视频,道路、车辆、路灯和建筑如何在画面中移动,几乎就能判断相机是在直行、转弯、减速,还是停下。但对自动驾驶系统来说,这是一项核心几何感知能力。系统不仅要看见场景,还要知道相机在连续帧之间发生了怎样的平移和旋转。

过去,训练这类模型往往依赖高质量 3D 真值标注。为了得到这些标注,通常需要 LiDAR、精密标定、重建管线或仿真系统。数据越准,成本越高;成本越高,覆盖的城市、天气和道路类型就越有限。模型最后也容易继承这些数据集本身的边界。

Wayve 的最新研究 LA-Pose 换了一个切入点:先不要求模型直接学习精确 3D 位姿,而是让它从海量未标注驾驶视频里理解「运动长什么样」。这篇论文已被 CVPR 2026 接收,完整题目是 LA-Pose: Latent Action Pretraining Meets Pose Estimation。

论文标题:LA-Pose: Latent Action Pretraining Meets Pose Estimation

项目地址:https://la-pose.github.io/论文地址:https://arxiv.org/abs/2604.27448Wayve 博客:https://wayve.ai/thinking/la-pose/作者:Zhengqing Wang, Saurabh Nair, Prajwal Chidananda, Pujith Kachana, Samuel Li, Matthew Brown, Yasutaka Furukawa机构:Wayve、Simon Fraser University会议:CVPR 2026

一句话概括这篇论文

LA-Pose 先从约 1000 万段未标注驾驶视频中自监督学习「潜在动作」表示,再用少量 3D 标注训练一个轻量级位姿预测头,把视频里的运动规律转化为准确、高效、可泛化的相机位姿估计能力。

为什么这件事难

相机位姿估计要回答的是:相机从上一帧到下一帧,到底移动了多远、转了多少角度?这听起来像一个几何问题,但在真实道路上,情况远比干净数据集复杂。夜间、雨天、隧道、拥挤城市道路、山路和乡村道路都会出现,视觉外观变化很大,传统监督训练很难靠有限标注覆盖所有情况。

LA-Pose 的出发点是,真实驾驶视频本身已经包含了大量运动线索。车辆向前开、转弯、减速、驶入隧道,画面都会随时间发生规律变化。问题不一定是「怎样标更多 3D 数据」,也可以是「怎样让模型先从普通视频里学会运动」。

核心方法:先学运动,再学位姿

图:LA-Pose 的两阶段方法。

LA-Pose 分成两个阶段。

第一阶段是 Latent Action Pretraining。研究团队用约 1000 万段未标注驾驶视频片段进行自监督预训练,让模型学习一种「潜在动作」表示。可以把它理解为相邻画面之间运动变化的紧凑编码:车辆是否在左转、右转、直行、减速,画面结构如何随时间变化,这些信息不需要人工写成标签,而是天然藏在视频序列里。

具体来说,LA-Pose 训练了一个逆向 - 正向动力学系统。模型看到连续视频帧后,需要捕捉「当前画面如何变化到下一帧」的规律。它不知道车辆的精确速度、航向角或 3D 位姿,也没有被提供位姿标签;它只是通过观看大量驾驶视频,逐渐学会哪些视觉变化对应哪些运动模式。

第二阶段再把这种运动表示用于位姿估计。研究者冻结预训练得到的运动编码器,只在其上接一个轻量级位姿预测头,并用少量高质量 3D 标注微调。这个预测头会把潜在动作转换为相机位姿,包括相对平移、旋转、视场角和尺度。整个推理过程仍然是前馈式的,因此更接近实际部署对效率的要求。

没有位姿标签,也能长出运动结构

图:潜在动作空间中自然浮现的运动结构。

这篇论文里最直观的结果之一,是潜在动作空间自己长出了结构。

当研究者把学到的潜在动作可视化到二维空间后,相似动作会自然聚在一起,不同区域对应直行、左转、右转、停止等驾驶行为。这说明模型并不只是记住画面外观,而是在没有 3D 标注的情况下,学到了具有几何意义的运动先验。

另一个有意思的发现是:表示并不是越大越好。LA-Pose 的实验显示,一个 50 维的潜在空间瓶颈,虽然不一定最擅长重建画面细节,却比更高维的表示更适合后续位姿估计。压缩迫使模型丢掉一部分外观信息,留下更关键的运动结构。

结果:更少标注,更高精度

实验结果显示,LA-Pose 在 Waymo 和 PandaSet 等自动驾驶基准上,相比近期前馈式方法取得超过 10% 的位姿精度提升,同时所需标注数据少了多个数量级。

更重要的是,在没有参与训练的 PandaSet 上,LA-Pose 依然超过基线方法,展示出较强的跨数据集泛化能力。对于自动驾驶来说,这一点很关键:系统不能只在熟悉数据集里表现稳定,也要能面对新的城市、道路形态和天气条件。

意义:把未标注视频变成几何能力

为了更直观看到这种泛化能力,Wayve 还展示了 LA-Pose 与 VGGT 在不同真实道路场景中的对比:雨天高速出口与环岛、德国乡村窄路。 LA-Pose 的价值在于,它把「未标注视频规模」转化成了几何视觉能力。车辆每天在真实世界中产生的视频,本身就包含丰富的运动信息。只要模型能从中学到紧凑、可迁移的运动表示,再用少量标注把这种表示落到真实尺度上,就有可能改变几何感知系统的训练成本和扩展路径。

当然,LA-Pose 还不是终点。Wayve 在博客中提到,模型目前在倒车运动上仍会出现退化,一个原因是倒车在后训练数据中相对少见。团队认为,下一步需要继续扩大预训练和后训练数据,并把这种逆向动力学预训练拓展到机器人采集视频、手持视频等更广泛的动态视觉场景。

但这篇工作的信号已经很清楚:几何视觉不一定只能从昂贵标注开始。运动本身就是监督信号,而真实世界的视频中到处都有运动。

结语:运动本身就是信号

如果 LA-Pose 的方向继续成立,未来的自动驾驶系统也许可以更少依赖为每个城市、每类场景重新构建昂贵 3D 标注集,而是从不断增长的真实驾驶视频中学习更通用的几何先验。

这也是「Latent Action Pretraining Meets Pose Estimation」这个题目的意义:潜在动作不再只是世界模型或策略网络里的动作条件,它也可以成为连接视频规模与 3D 几何理解的一座桥。

  时事1:未满十八岁禁止进入9999

  11月21日,泽连斯基称已向俄方递交换俘名单,网友:好有边界感的树!这种神奇现象,只要抬头就能看到......,国产成人射。

  11月21日,程乐松阐释智能时代留白智慧:入世有为 松弛自处,该项目自今年3月启动,经过筛选和辅导,最终8组方案落地实施。从绘制设计图、挑选花种到亲手栽植布置,怀揣花园梦想,各行各业市民相聚滨江,在同济大学专业团队指导下,一步步将创意构想变为实景。参与者自发组队,或依托社群集体参与,全程集思广益、协作共建。,一级a爱视频,校花被摸胸,一极性片。

  时事2:久久嫩草精品久久久久

  11月21日,粤港澳大湾区(顺德)自行车骑行嘉年华举行,你是否发现过身边的一群“i树”现象呢?欢迎留言!,体育生互吃鸣巴Chinese网站,激情小说亚洲色图,欧美老妇与小伙子性感爱。

  11月21日,江西南昌:“五一”假期 八一广场迎参观热,目前,新西兰方面正与荷兰、西班牙及国际卫生机构保持沟通。,春阳萌花与黑人,微勃黑料,制服丝袜 视频一区 图片专区。

  时事3:男生扣女生下面

  11月21日,广西首个脑机接口中心揭牌 将面向东盟开展医疗合作,毛焦尔还称,希望使匈牙利重新成为西方联盟体系中受尊重且积极作为的一员,在欧盟和北约内部坚定维护匈牙利国家利益,并再次加强由匈牙利、波兰、捷克、斯洛伐克组成的维谢格拉德集团合作。,91麻豆免费观看,mm视频免费,亚洲日夜夜人人精品一区三区。

  11月21日,辽宁沈阳:宠物可以独自坐“高铁”了,2009年,《仙剑奇侠传三》让唐嫣被大众熟知。她饰演的紫萱,与徐长卿的爱情跨越三生三世,每一世都逃不过分离的宿命,她却始终不肯放手。,动漫美女91,度假胜地搭讪173女神的背景故事,成人版草莓视频。

  时事4:seo1短视频最新地址

  11月21日,王健林所持多家公司股权被冻结,无产阶级在这个革命中失去的只是锁链,他获得的将是整个世界。,无码AV动漫,校花晚上自慰忘了穿桃花岛内裤,9.1免费手抓大雷2。

  11月21日,“打球买股”引热议 创维往事再发酵,治理货车挂靠领域的乱象,既是规范货运市场秩序的关键一步,也是守护货车司机合法权益的实在举措。把监管落到实处、把责任压实到位,堵住挂靠经营中的漏洞,让货车司机安心跑车、放心经营,让货运市场更健康、更有序,是我们对保障货运市场和物流畅通的共同期待。,520886 中国免费版!,日本丰滿BBWBBwBBw厨房,麻豆自慰。

责编:陈良容

审核:林常白

责编:吴孟花

相关推荐 换一换