搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状

2026-11-22 21:42:32
来源:

猫眼电影

作者:

郑伊慧

手机查看

  猫眼电影记者 邱雅筑 报道x

机器人想要拿起桌上的杯子,首先需要知道什么?

识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。

对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只能看到有限的表面,同一类别下的物体也可能有着截然不同的形状。

这正是类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)希望解决的问题:不依赖每个物体专属的 CAD 模型或参考图像,仅从视觉观测中直接推断物体的三维位置和旋转方向。

近日,来自复旦大学与上海创智学院的研究团队提出了F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关工作已被NeurIPS 2026接收。

论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation会议: NeurIPS 2026作者: 张晋瑜、林海涛、侯嘉树、薛向阳、付彦伟研究单位: 复旦大学、上海创智学院论文链接: https://arxiv.org/abs/2610.31623项目主页: https://jrryzh.github.io/F2G-Pose/代码仓库: https://github.com/jrryzh/F2G-Pose

与需要反复生成候选姿态的方案不同,F2G-Pose 尝试了一条更直接的路线:给定一帧经过目标分割的 RGB-D 观测,通过一次前向传播,同时预测物体的6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状

在 RTX 4090 上,该方法关闭形状补全分支时的模型推理速度达到 28 FPS,并在多个基准测试中取得领先结果。研究团队还将其部署到真实机械臂上,验证了预测结果在机器人操作中的实际价值。

视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg

01|位姿估计的难点,不只是找到正确答案

现有类别级位姿估计方法,大致有两条技术路线。

一类方法通过规范坐标、几何对应关系或形状先验,先建立中间表示,再将其转换为物体的最终位姿。这条路线通常具有较好的推理效率,但当物体被遮挡、深度信息缺失或形状变化较大时,中间预测中的误差可能进一步传递到最终结果。

另一类方法则选择显式建模位姿的不确定性。以 GenPose、GenPose++为代表的生成式方法,通过扩散模型采样多个可能的姿态,再经过评分、筛选或聚类,确定最终输出。

这种思路有其合理性:当一个物体只能被观察到一部分时,确实可能存在多个合理的姿态解释。但我们注意到一个值得深入研究的问题:能够生成准确的候选姿态,并不意味着最终一定能够选出准确的结果。

论文对 GenPose++进行了一项分析。在 ROPE 数据集上,生成 50 个候选姿态后,如果允许使用真实标注,从中挑选旋转误差最小的候选,那么有 79.3%的实例可以达到 5°以内的旋转误差。但在实际使用的候选筛选流程之后,这一比例为 48.3%。换句话说,准确答案可能已经出现在候选集合中,却未必能被最终选中。与此同时,采样数量越多,计算成本通常也越高;减少候选虽然能提高响应速度,却可能影响最终的预测可靠性。

对于需要持续感知、实时执行的机器人来说,这种精度与延迟之间的权衡尤其重要。

由此,团队提出了一个问题:

能否直接学习从 RGB-D 观测到最终位姿的映射,把计算资源用于获得更好的物体表示,而不是生成和筛选大量候选?

动图 1|同帧位姿预测结果和真实标注对比。

02|F2G-Pose:把二维视觉特征带入三维空间

直接回归位姿并不是全新的想法。真正困难的地方在于:如何让网络在只有局部观测的情况下,仍然建立足够可靠的三维物体表示?F2G-Pose 的答案,是让视觉基础模型提供语义与外观线索,让深度点云提供真实的几何约束,再通过统一的网络共同推理。

图 1|F2G-Pose 总体架构:视觉特征提升、局部几何编码、MoE Transformer 与位姿/尺寸/形状预测。

首先,将视觉基础特征提升到三维空间。

模型采用冻结的 RADIOv2.5 视觉编码器,从 RGB 图像中提取密集视觉特征。利用相机内参和对齐的深度信息,可以找到每个三维点对应的图像位置,并将相应的视觉特征附着到点云上。

这样,每个三维点不仅包含空间坐标,还携带了对应区域的视觉信息。

例如,深度信息能够描述物体表面的几何变化,视觉特征则可以补充纹理、部件及语义线索。二者结合,比单纯依赖 RGB 或者深度更有利于理解物体的真实空间状态。

随后,F2G-Pose 利用 DGCNN 提取局部几何结构,将融合后的点云编码为一组物体 Token。

接下来,通过 MoE Transformer 整合物体整体结构。

局部特征可以帮助模型识别表面细节,但位姿估计需要理解整个物体:哪些结构彼此关联,哪些部件能够区分朝向,以及当前观察到的部分如何构成完整物体。

F2G-Pose 使用 Transformer 聚合这些信息,并引入混合专家架构(Mixture-of-Experts,MoE)增强表示能力。

网络设置 8 个专家,每个 Token 动态选择其中 2 个参与计算。这样的设计使模型能够以相对有限的计算开销,为复杂多样的物体几何提供更灵活的建模能力。

最后,不只是预测位姿,还要学习物体的完整形状。

这是 F2G-Pose 设计中另一个重要部分。

在共享的物体表示之上,网络设置了两个并行分支:一个直接预测物体的旋转、平移与真实尺寸;另一个根据已观测到的局部点云,逐步补全物体的三维形状。

形状补全采用由粗到细的方式,最终输出 2048 个三维点,且直接位于相机坐标系中,无需额外执行规范空间到相机空间的对齐。

动图 2|相机坐标系下的形状补全展示。

这不仅提供了一个可供下游模块使用的近似几何输出,更重要的是,形状补全本身也成为训练位姿估计网络的一种几何监督。模型不能只凭有限的外观特征猜测物体朝向,还需要学习可见表面与整体三维结构之间的联系。

最终,位姿、尺寸和形状由同一套 RGB-D 表示共同预测,整个推理过程不需要扩散采样、候选聚类或额外的位姿对齐优化。

03|更快,也更准:多项实验验证方法有效性

研究团队首先在 SOPE 合成数据集上训练模型。该数据集覆盖 149 个类别、约 5000 个物体实例。除视觉基础模型原有的预训练外,F2G-Pose 的任务网络仅使用 SOPE 合成数据训练,没有针对后续真实数据集单独进行训练。

在 SOPE 和 ROPE 基准测试中,F2G-Pose 均展现出具有竞争力的结果。

以衡量三维包围盒匹配质量的 IoU50 AUC 为例:

SOPE:F2G-Pose 达到 43.7,GenPose++为 31.9。ROPE:F2G-Pose 达到 27.8,GenPose++为 19.1。

图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。

在论文采用的统一推理测试协议下,GenPose++运行速度约为 4 FPS,而 F2G-Pose 仅进行位姿估计时达到 28 FPS,速度约为前者的 7 倍;即使同时启用形状补全分支,完整模型仍达到 23.7 FPS。这里比较的是同一 RTX 4090、batch size 为 1、给定相同分割与 RGB-D 输入条件下的模型推理速度,不代表整套机器人系统的运行帧率。

图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。

这说明,直接预测并不必然需要牺牲精度来换取速度。只要 RGB-D 表示能够充分整合视觉与几何信息,单次前向传播同样可以获得较高质量的结果。

消融实验进一步验证了各个模块的作用。在 ROPE 上,移除 RGB 视觉特征后,IoU50 AUC 从 27.8 下降到 16.2;用参数量相当的普通前馈网络替换 MoE 后降至 24.0;去掉形状补全监督后则下降到 23.2。

尤其值得注意的是,形状补全并不是一个与位姿估计无关的附加功能。即使最终只需要位姿结果,训练时引入完整三维几何监督,仍然可以帮助模型学习更可靠的物体表示。此外,在 HouseCat6D 形状重建实验和 HANDAL 真实物体跨数据集评测中,F2G-Pose 也展现出较好的迁移能力。

04|从数据集走向真实机器人

离线评测中预测准确,并不意味着机器人就一定能够完成操作。

为此,研究团队进一步搭建了真实机器人实验平台,使用 ARX 机械臂、平行夹爪以及 RealSense RGB-D 相机,开展基于物体位姿的抓取与放置实验。

测试对象包括瓶子、杯子、碗、锤子、平底锅等常见物体。系统根据估计的位姿和尺寸确定抓取接近方向与放置目标,利用补全形状辅助碰撞检查。

视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg

实验设置了 50 毫秒的感知决策时间预算,并对每种方法进行 80 次测试。

结果显示,F2G-Pose 完整模型在 80 次测试中成功完成 68 次抓取与放置,成功率为 85%,平均感知延迟约 36 毫秒,满足所设定的实时预算。这里的 36 毫秒来自真机实验的感知延迟统计,与前述基准测试 FPS 属于不同实验口径。作为对照,GenPose++完整采样流程完成 57 次放置,但平均延迟达到 256 毫秒;将其限制在约 50 毫秒时,成功放置次数下降至 45 次。

这些结果表明,在机器人部署中,位姿估计的价值不能只用离线精度衡量。预测延迟、输出稳定性,以及最终结果能否被下游规划模块可靠使用,同样重要。

F2G-Pose 并不是直接学习抓取策略的端到端机器人模型,而是为后续规划和操作提供更及时、准确的物体几何状态。这也让它能够作为一个相对独立的感知模块,接入不同的机器人系统。

05|让机器人更好地理解三维世界

当然,单帧 RGB-D 感知仍有其边界。

F2G-Pose 目前需要输入已分割的物体区域。当分割结果不准确、深度信息严重缺失,或关键结构被遮挡时,预测仍可能受到影响。对于高度对称、纹理较少的物体,单一视角也难以完全消除方向歧义。

尤其是在跨数据集条件下,实现高精度的三维几何对齐仍然具有挑战。

但这项工作的意义,在于验证了一条值得继续探索的路线:对于机器人最终需要使用的几何状态,可以通过基础视觉特征与三维几何的联合学习,直接预测,而不必在推理阶段始终依赖复杂的候选生成与筛选。

随着机器人逐渐走向更加开放、多样的真实环境,如何从有限观测中快速获得可靠的三维信息,将持续成为具身感知的重要课题。

F2G-Pose 为这一问题提供了一种兼顾精度、效率与实际部署需求的技术方案。

作者介绍

张晋瑜,上海创智学院和复旦大学联合培养具身智能方向博士生。研究聚焦具身智能与机器人学习,重点关注视觉语言动作(VLA)模型、大规模预训练和通用机器人操作,为 F2G-Pose 论文共同第一作者。

  时事1:免费国产小视频

  11月22日,王鹤棣回应被戏称“王鹤底”,随着城市持续扩张,候鸟迁徙通道与停歇地面临挤压。如何在城市发展与候鸟迁徙间寻求平衡?在戴子云看来,关键在于“共享”而非“对立”,“未来的平衡之道不在于‘谁让步’,而在于寻求一种更高层次的空间共融”。,废柴视频网最新fcww78。

  11月22日,咸阳青少年国际足球冠军赛揭幕 欧文将现场助阵,今年“五一”假期新推出的“鸡菜共生”模式,更是一次生态农业的微创新。5只母鸡加1只公鸡,搭配40平方米全托管菜地,鸡佩戴唯一脚环,可预约宰杀冷链到家;菜地全年轮种10种蔬菜,保底15批次采收。鸡群在隧道式移动鸡笼里自由进入菜园,觅食害虫与杂草,粪便自然还田,形成“鸡粪肥田、菜叶喂鸡”的生态闭环。,天堂岛论坛,538精彩视频,91精选视频在线观看入口。

  时事2:陈美娇一打七

  11月22日,台退将怒批民进党高额军购案,在马来西亚,侨批相关的遗存其实并不少见。许瑶菲说,她的长辈都曾见过真实的侨批物件。只是后来因多次搬家,这些珍贵的老物件没能留存下来。,五月丁香天堂网,黄色免费国产,3D漫画无尽XXXX█gil。

  11月22日,全国首个遥感卫星数据出境安全评估在海南完成,据公开信息显示,山西通洲集团留神峪煤业有限公司隶属于山西通洲煤焦集团股份有限公司(下称“通州集团”),成立于2010年,生产能力为每年120万吨,开拓方式为斜井开拓。,天堂精品,熟女91,欧美日韩激情。

  时事3:麻豆成人AV

  11月22日,甘肃省统战宣传工作会议在兰州召开,倒计时10天!今年高考有哪些新变化?,自拍20页,中文字幕1234,高清 码 免91麻豆。

  11月22日,缅甸发生地震 仰光震感明显,《鲜蒸海参良好生产规范》明确了鲜蒸海参全流程生产管控要求,覆盖原辅料管理、加工过程控制、贮存运输等各个环节,将复杂的生产过程梳理为可执行、可追溯的标准流程,切实保障鲜蒸海参产品品质,契合当下消费者对营养健康的需求。,韩国二区,深夜看片18,456亚洲精品。

  时事4:把 伸到女人 打扑克软件

  11月22日,孩子零食肉干掉地上蚂蚁吃完全死了,我们要记住,谁来站台不重要,严谨的临床证据质量才是关键。,AA级视频,人人操网,91性侵网站。

  11月22日,习近平新时代中国特色社会主义思想海外研究国际论坛(2026)在北京举行 李书磊出席开幕式并发表主旨演讲,写出《给阿嬷的情书》的人们,怎么可能是“神秘渗透者”!,狂C舞蹈生,木下澶澶子的作品,欲色天天。

责编:陈怡均

审核:林筱婷

责编:郑馨仪

相关推荐 换一换