站长之家(ChinaZ.com)12月7日信息: 近期,Adobe钻研人员与斯坦福大学团队联结提出了一种名为DMV3D的全新3D生成方法。该方法旨在处置增强事实(AR)、虚构事实(VR)、机器人技术和游戏等畛域中3D资产创立的共同应战。虽然3D分散模型在简化复杂的3D资产创立环节方面变得越来越受欢迎,但它们须要访问用于训练的低空实在3D模型或点云,这关于实在图像而言是一项应战。
现有的处置方案虽然可以处置这一应战,但理论须要少量手动上班和优化环节。因此,Adobe钻研人员与斯坦福大学团队不时努力于使3D生成环节更快、更实在和更通用。他们近期颁布的文章引见了一种新的方法,即DMV3D,这是一种单阶段的、类别无法知的分散模型。
DMV3D的关键奉献包含经常使用多视图2D图像分散模型启动3D生成的开创性单阶段分散框架。同时,引入了大型重建模型(LRM),这是一种多视图去噪器,可以从喧闹的多视图图像中重建无噪音的三平面NeRFs。该模型提供了一个通用的概率方法,用于高品质的文本到3D生成和单图像重建,成功了极速的间接模型推理,在单个A100GPU上仅需约30秒。
DMV3D将3DNeRF重建和渲染集成到其去噪器中,创立了一个在没有间接3D监视的状况下训练的2D多视图图像分散模型。这消弭了为潜在空间分散独自训练3DNeRF编码器的须要,并简化了每个资产的优化环节。钻研人员奇妙地经常使用了围绕物体的四个多视图图像的稠密汇合,有效地形容了一个3D对象,而没有清楚的自遮挡疑问。
经过应用大型transformer模型,钻研人员处置了稠密视图3D重建的应战性义务。基于最近的3D大型重建模型(LRM),他们引入了一种陈腐的联结重建和去噪模型,能够处置分散环节中的各种噪声水平。在大规模分解渲染和实在捕捉的数据集上启动训练,DMV3D在单个A100GPU上展现了在约30秒内生成单阶段3D的才干。它在单图像3D重建方面取得了的成绩。
该钻研为经过一致3D重建和生成的2D和3D生成模型的畛域之间的鸿沟,以处置3D视觉和图形畛域中的各种应战,提供了新的视角和或者性。
名目网址:HTTPs://justimyhxu.github.io/projects/dmv3d/
文章网址:https://arxiv.org/abs/2311.09217
(揭发)
标签: DMV3D、 Transformer、本文地址: https://yihaiquanyi.com/article/cf4fa0aad2181816bef6.html
上一篇:灾后救助向灾前防御转变灾后微助农村方案小...