站长之家（ChinaZ.com）1.月7日信息: 近期，Adobe钻研人员与斯坦福大学团队联结提出了一种名为DMV3D的全新3D生成方法。该方法旨在处置增强事实（AR）、虚构事实(VR)、机器人技术和游戏等畛域中3D资产创立的共同应战。虽然3D分散模型在简化复杂的3D资产创立环节方面变得越来越受欢迎，但它们须要访问用于训练的低空实在3D模型或点云，这关于实在图像而言是一项应战。

现有的处置方案虽然可以处置这一应战，但理论须要少量手动上班和优化环节。因此，Adobe钻研人员与斯坦福大学团队不时努力于使3D生成环节更快、更实在和更通用。他们近期颁布的文章引见了一种新的方法，即DMV3D，这是一种单阶段的、类别无法知的分散模型。

DMV3D的关键奉献包含经常使用多视图2D图像分散模型启动3D生成的开创性单阶段分散框架。同时，引入了大型重建模型（LRM），这是一种多视图去噪器，可以从喧闹的多视图图像中重建无噪音的三平面NeRFs。该模型提供了一个通用的概率方法，用于高品质的文本到3D生成和单图像重建，成功了极速的间接模型推理，在单个A100GPU上仅需约30秒。

DMV3D将3DNeRF重建和渲染集成到其去噪器中，创立了一个在没有间接3D监视的状况下训练的2D多视图图像分散模型。这消弭了为潜在空间分散独自训练3DNeRF编码器的须要，并简化了每个资产的优化环节。钻研人员奇妙地经常使用了围绕物体的四个多视图图像的稠密汇合，有效地形容了一个3D对象，而没有清楚的自遮挡疑问。

经过应用大型Transformer模型，钻研人员处置了稠密视图3D重建的应战性义务。基于最近的3D大型重建模型（LRM），他们引入了一种陈腐的联结重建和去噪模型，能够处置分散环节中的各种噪声水平。在大规模分解渲染和实在捕捉的数据集上启动训练，DMV3D在单个A100GPU上展现了在约30秒内生成单阶段3D的才干。它在单图像3D重建方面取得了的成绩。

该钻研为经过一致3D重建和生成的2D和3D生成模型的畛域之间的鸿沟，以处置3D视觉和图形畛域中的各种应战，提供了新的视角和或者性。

名目网址:https://justimyhxu.github.io/projects/dmv3d/

文章网址:https://arxiv.org/abs/2311.09217

（揭发）

标签： DMV3D、 Transformer、

本文地址： https://yihaiquanyi.com/article/cf4fa0aad2181816bef6.html

上一篇：灾后救助向灾前防御转变灾后微助农村方案小...
下一篇：字节AI智能化产品研发字节AI智能聊天助手收...