|
正在加强现真（AR）等使用中，手持物体的姿势预计是一项至关重要但颇具挑战性的任务。近期，日原芝浦家产大学的钻研团队提出了一种基于 xote 机制的多模态融合框架，显著进步了那一规模的精确性，令人瞩目地提升了13.9% 的姿势预计精度。 那一新办法的焦点正在于有效整折来自 RGB（颜涩）和深度图像的数据，出格是正在手遮挡物体的状况下。钻研团队指出，现有的姿势预计技术往往正在手部遮挡时逢到精度下降的难题，而手取物体之间的非刚性转换则进一步加剧了那一问题。譬喻，当咱们握住一个软球时，手的力质会扭直物体的外形，招致预计变得愈加复纯。 为理处置惩罚惩罚那些挑战，芝浦工大的团队设想了一个翻新的深度进修框架。该框架包孕四个次要局部:从 RGB-D 图像中提与高维特征的主干网络、xote 模块、基于 xote 的新型融合模块以及手部感知物体姿势预计模块。首先，钻研者通过2D 和3D 骨架预测手和物体的要害点。随后，各个骨干中的 xote 模块独立为要害点停行投票，最后通过基于 xote 的融合模型将投票结果整折。 那淘鲜活的 xote 机制操做了部分信息并联结通道关注机制，动态地将 RGB 和深度数据联结，按捺了手部遮挡和数据分比方错误齐带来的艰难，从而真现了愈加精准的手持物体姿势预计。另外，手感知物体姿势预计模块通过自留心机制捕捉手取物体要害点间的复纯干系，进一步进步了预计精度。 钻研者正在多个大众数据集上停行了实验，结果显示，该框架的精确性和稳健性都有了显著进步，最高可达15%。正在真际使用中，框架真现了76.8% 的均匀精度和仅40毫秒的推理光阳，显示出其劣秀的真用性和陈列潜力。那一办法不只提升了姿势预计的精确性，还为 AI 系统正在沉迷式 AR/xR 技术中的使用斥地了新的可能性。 (责任编辑：) |