猫眼电影
猫眼电影记者 李惟阳 报道x
机器人想要拿起桌上的杯子,首先需要知道什么?
识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。
对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只能看到有限的表面,同一类别下的物体也可能有着截然不同的形状。
这正是类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)希望解决的问题:不依赖每个物体专属的 CAD 模型或参考图像,仅从视觉观测中直接推断物体的三维位置和旋转方向。
近日,来自复旦大学与上海创智学院的研究团队提出了F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关工作已被NeurIPS 2026接收。
论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation会议: NeurIPS 2026作者: 张晋瑜、林海涛、侯嘉树、薛向阳、付彦伟研究单位: 复旦大学、上海创智学院论文链接: https://arxiv.org/abs/2610.31623项目主页: https://jrryzh.github.io/F2G-Pose/代码仓库: https://github.com/jrryzh/F2G-Pose
与需要反复生成候选姿态的方案不同,F2G-Pose 尝试了一条更直接的路线:给定一帧经过目标分割的 RGB-D 观测,通过一次前向传播,同时预测物体的6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状
在 RTX 4090 上,该方法关闭形状补全分支时的模型推理速度达到 28 FPS,并在多个基准测试中取得领先结果。研究团队还将其部署到真实机械臂上,验证了预测结果在机器人操作中的实际价值。
视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg
01|位姿估计的难点,不只是找到正确答案
现有类别级位姿估计方法,大致有两条技术路线。
一类方法通过规范坐标、几何对应关系或形状先验,先建立中间表示,再将其转换为物体的最终位姿。这条路线通常具有较好的推理效率,但当物体被遮挡、深度信息缺失或形状变化较大时,中间预测中的误差可能进一步传递到最终结果。
另一类方法则选择显式建模位姿的不确定性。以 GenPose、GenPose++为代表的生成式方法,通过扩散模型采样多个可能的姿态,再经过评分、筛选或聚类,确定最终输出。
这种思路有其合理性:当一个物体只能被观察到一部分时,确实可能存在多个合理的姿态解释。但我们注意到一个值得深入研究的问题:能够生成准确的候选姿态,并不意味着最终一定能够选出准确的结果。
论文对 GenPose++进行了一项分析。在 ROPE 数据集上,生成 50 个候选姿态后,如果允许使用真实标注,从中挑选旋转误差最小的候选,那么有 79.3%的实例可以达到 5°以内的旋转误差。但在实际使用的候选筛选流程之后,这一比例为 48.3%。换句话说,准确答案可能已经出现在候选集合中,却未必能被最终选中。与此同时,采样数量越多,计算成本通常也越高;减少候选虽然能提高响应速度,却可能影响最终的预测可靠性。
对于需要持续感知、实时执行的机器人来说,这种精度与延迟之间的权衡尤其重要。
由此,团队提出了一个问题:
能否直接学习从 RGB-D 观测到最终位姿的映射,把计算资源用于获得更好的物体表示,而不是生成和筛选大量候选?
动图 1|同帧位姿预测结果和真实标注对比。
02|F2G-Pose:把二维视觉特征带入三维空间
直接回归位姿并不是全新的想法。真正困难的地方在于:如何让网络在只有局部观测的情况下,仍然建立足够可靠的三维物体表示?F2G-Pose 的答案,是让视觉基础模型提供语义与外观线索,让深度点云提供真实的几何约束,再通过统一的网络共同推理。
图 1|F2G-Pose 总体架构:视觉特征提升、局部几何编码、MoE Transformer 与位姿/尺寸/形状预测。
首先,将视觉基础特征提升到三维空间。
模型采用冻结的 RADIOv2.5 视觉编码器,从 RGB 图像中提取密集视觉特征。利用相机内参和对齐的深度信息,可以找到每个三维点对应的图像位置,并将相应的视觉特征附着到点云上。
这样,每个三维点不仅包含空间坐标,还携带了对应区域的视觉信息。
例如,深度信息能够描述物体表面的几何变化,视觉特征则可以补充纹理、部件及语义线索。二者结合,比单纯依赖 RGB 或者深度更有利于理解物体的真实空间状态。
随后,F2G-Pose 利用 DGCNN 提取局部几何结构,将融合后的点云编码为一组物体 Token。
接下来,通过 MoE Transformer 整合物体整体结构。
局部特征可以帮助模型识别表面细节,但位姿估计需要理解整个物体:哪些结构彼此关联,哪些部件能够区分朝向,以及当前观察到的部分如何构成完整物体。
F2G-Pose 使用 Transformer 聚合这些信息,并引入混合专家架构(Mixture-of-Experts,MoE)增强表示能力。
网络设置 8 个专家,每个 Token 动态选择其中 2 个参与计算。这样的设计使模型能够以相对有限的计算开销,为复杂多样的物体几何提供更灵活的建模能力。
最后,不只是预测位姿,还要学习物体的完整形状。
这是 F2G-Pose 设计中另一个重要部分。
在共享的物体表示之上,网络设置了两个并行分支:一个直接预测物体的旋转、平移与真实尺寸;另一个根据已观测到的局部点云,逐步补全物体的三维形状。
形状补全采用由粗到细的方式,最终输出 2048 个三维点,且直接位于相机坐标系中,无需额外执行规范空间到相机空间的对齐。
动图 2|相机坐标系下的形状补全展示。
这不仅提供了一个可供下游模块使用的近似几何输出,更重要的是,形状补全本身也成为训练位姿估计网络的一种几何监督。模型不能只凭有限的外观特征猜测物体朝向,还需要学习可见表面与整体三维结构之间的联系。
最终,位姿、尺寸和形状由同一套 RGB-D 表示共同预测,整个推理过程不需要扩散采样、候选聚类或额外的位姿对齐优化。
03|更快,也更准:多项实验验证方法有效性
研究团队首先在 SOPE 合成数据集上训练模型。该数据集覆盖 149 个类别、约 5000 个物体实例。除视觉基础模型原有的预训练外,F2G-Pose 的任务网络仅使用 SOPE 合成数据训练,没有针对后续真实数据集单独进行训练。
在 SOPE 和 ROPE 基准测试中,F2G-Pose 均展现出具有竞争力的结果。
以衡量三维包围盒匹配质量的 IoU50 AUC 为例:
SOPE:F2G-Pose 达到 43.7,GenPose++为 31.9。ROPE:F2G-Pose 达到 27.8,GenPose++为 19.1。
图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。
在论文采用的统一推理测试协议下,GenPose++运行速度约为 4 FPS,而 F2G-Pose 仅进行位姿估计时达到 28 FPS,速度约为前者的 7 倍;即使同时启用形状补全分支,完整模型仍达到 23.7 FPS。这里比较的是同一 RTX 4090、batch size 为 1、给定相同分割与 RGB-D 输入条件下的模型推理速度,不代表整套机器人系统的运行帧率。
图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。
这说明,直接预测并不必然需要牺牲精度来换取速度。只要 RGB-D 表示能够充分整合视觉与几何信息,单次前向传播同样可以获得较高质量的结果。
消融实验进一步验证了各个模块的作用。在 ROPE 上,移除 RGB 视觉特征后,IoU50 AUC 从 27.8 下降到 16.2;用参数量相当的普通前馈网络替换 MoE 后降至 24.0;去掉形状补全监督后则下降到 23.2。
尤其值得注意的是,形状补全并不是一个与位姿估计无关的附加功能。即使最终只需要位姿结果,训练时引入完整三维几何监督,仍然可以帮助模型学习更可靠的物体表示。此外,在 HouseCat6D 形状重建实验和 HANDAL 真实物体跨数据集评测中,F2G-Pose 也展现出较好的迁移能力。
04|从数据集走向真实机器人
离线评测中预测准确,并不意味着机器人就一定能够完成操作。
为此,研究团队进一步搭建了真实机器人实验平台,使用 ARX 机械臂、平行夹爪以及 RealSense RGB-D 相机,开展基于物体位姿的抓取与放置实验。
测试对象包括瓶子、杯子、碗、锤子、平底锅等常见物体。系统根据估计的位姿和尺寸确定抓取接近方向与放置目标,利用补全形状辅助碰撞检查。
视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg
实验设置了 50 毫秒的感知决策时间预算,并对每种方法进行 80 次测试。
结果显示,F2G-Pose 完整模型在 80 次测试中成功完成 68 次抓取与放置,成功率为 85%,平均感知延迟约 36 毫秒,满足所设定的实时预算。这里的 36 毫秒来自真机实验的感知延迟统计,与前述基准测试 FPS 属于不同实验口径。作为对照,GenPose++完整采样流程完成 57 次放置,但平均延迟达到 256 毫秒;将其限制在约 50 毫秒时,成功放置次数下降至 45 次。
这些结果表明,在机器人部署中,位姿估计的价值不能只用离线精度衡量。预测延迟、输出稳定性,以及最终结果能否被下游规划模块可靠使用,同样重要。
F2G-Pose 并不是直接学习抓取策略的端到端机器人模型,而是为后续规划和操作提供更及时、准确的物体几何状态。这也让它能够作为一个相对独立的感知模块,接入不同的机器人系统。
05|让机器人更好地理解三维世界
当然,单帧 RGB-D 感知仍有其边界。
F2G-Pose 目前需要输入已分割的物体区域。当分割结果不准确、深度信息严重缺失,或关键结构被遮挡时,预测仍可能受到影响。对于高度对称、纹理较少的物体,单一视角也难以完全消除方向歧义。
尤其是在跨数据集条件下,实现高精度的三维几何对齐仍然具有挑战。
但这项工作的意义,在于验证了一条值得继续探索的路线:对于机器人最终需要使用的几何状态,可以通过基础视觉特征与三维几何的联合学习,直接预测,而不必在推理阶段始终依赖复杂的候选生成与筛选。
随着机器人逐渐走向更加开放、多样的真实环境,如何从有限观测中快速获得可靠的三维信息,将持续成为具身感知的重要课题。
F2G-Pose 为这一问题提供了一种兼顾精度、效率与实际部署需求的技术方案。
作者介绍
张晋瑜,上海创智学院和复旦大学联合培养具身智能方向博士生。研究聚焦具身智能与机器人学习,重点关注视觉语言动作(VLA)模型、大规模预训练和通用机器人操作,为 F2G-Pose 论文共同第一作者。
时事1:欧式个人写真
11月22日,“洪迪厄斯”号邮轮两名比利时乘客汉坦病毒检测结果呈阴性,据悉,本次赛事设标准舞、拉丁舞两大系列,涵盖华尔兹、探戈、恰恰、桑巴、伦巴等经典舞种。赛事搭建高水平体育舞蹈交流竞技平台,赋能当地文体旅深度融合发展。,男生撸鸡的视频在线看免费版。
11月22日,河南:汝瓷借侨连四海,“一节课费用50多元,花钱少、离家近,上课频次也适中。”她表示,在快节奏的城市生活中,这种轻量化、高性价比的体验式学习,能让生活更有质感。,国产成综合,操逼视频APP,sis亚洲无码区下载。
时事2:一级片中国人
11月22日,白帆竞展吴淞口 上海宝山邮轮港打造水上运动高地,三七互娱集团副总裁郭平表示,未来文化产业竞争,将聚焦技术效率、成本优势与规模化供给能力。AI赋能降本增效、实现规模化生产,人类主导创意审美与文化价值创作,技术不能凌驾于内容价值观与文化底线之上,内容也不会排斥技术带来的效率与创新空间。,九幺 羞羞网站,88xx.info免费观看,9.1猎奇小屋。
11月22日,“想象一下股市再涨40%……”华尔街大佬激辩!芯片股,来到泡沫破裂前夕?,6.1%的增速意味着什么?它高于全国平均水平1.1个百分点,在省域竞争中,增速继续位居全国第一。,离婚了天天跑去日前妻,黄小鬼挤牛奶,铜铜铜铜铜铜铜好多水。
时事3:run away 漫画
11月22日,辽宁千余件岫岩玉雕作品诠释“世界一家亲”,伪科学和骗术,恰恰就滋生在这种认知缝隙里:这些骗子,无需真正阐明机理,只需借助生命科学的复杂性营造神秘感,再利用人们对疾病的恐惧——将自己包装成唯一的真理,就能赚取大量金钱。,国产c篇,久久久最新地址,120免费领取试看。
11月22日,从赛场到民间 一颗网球传递中塞跨国温情,相思只在:丁香枝上,豆蔻梢头。,1级黄色绿像,欧美日韩小视频,国产精久久久。
时事4:亚洲欧美另类一区二区
11月22日,爆火排骨饭老板称一天消耗300多斤肉,在安吉,一片叶子富了一方百姓,带火的不仅是茶产业,更是茶园里的花式文旅打卡。在潮州,喝一杯当地凤凰单丛制作的鸭屎香奶茶,已经成为消费新潮流。走在城市的大街小巷,随处可见彰显中式美学的茶饮店,商场超市里,各种新式茶饮料琳琅满目。踏着“成为中国人”的时尚浪潮,眼下“喝中国茶”正风靡全球,中国茶饮品牌的海外门店数量持续增长,更有不少外国朋友来到中国,一品“传承千年的东方味道”。,一本大道东京热无码,亨利本家系列中文版在线观看,A V另类小说。
11月22日,女子虐待2岁女童致死被执行死刑,随着六一儿童节临近,不少学校、幼儿园都开始着手准备庆祝演出,儿童化妆品销售迎来小高峰。记者在吉林省内多个城市的小商品批发市场和化妆品店走访看到,柜台上颜色鲜艳、款式各异的彩色眼影整齐摆放,很多带有星星等形状的亮片,不少化妆品还使用可爱的卡通形象作为外包装。,九草,欧美性爱欧美性爱,furry18 video♂。
责编:黄常芳
审核:毛隆蕙
责编:陈佳信












