据站长之家报道，上海交通大学人工智能研究所和华为公司联合推出了一项引领性的科技突破，名为SAGA（SegmentAny3DGAussians）。SAGA是一种将2D的「分割一切」模型的细粒度分割能力提炼到3D高斯中的方法。该方法在几毫秒内实现了精细的三维分割，支持多种提示类型，包括点、涂鸦和掩码。SAGA的方法概览包括使用预训练的3DGS模型和SAM编码器提取2D特征图，然后通过高效的特征匹配检索预期的3D高斯。研究者还从提取的掩码中导出点对应关系，并将其提炼为特征。SAGA的本文已经在arXiv上发布，引起了科研界的广泛关注。在现有基准测试中，SAGA展现出与进方法相媲美的性能，甚至在3D分割速度上实现了近1000倍的加速。

SAGA具有以下特点:

1. 3D高效分割：SAGA能够在几毫秒内对3D高斯中进行精细交互式分割，这对于3D场景的理解和操作具有重要意义。

2. 融合2D分割和3D高斯光斑技术：该方法将2D分割基础模型与3D高斯光斑技术（3DGaussianSplatting，3DGS）结合起来。通过对比度训练，SAGA将由分割基础模型生成的多粒度2D分割结果嵌入到3D高斯点特征中。

3. 克服挑战：SAGA提出了一种创新的解决方案，克服了现有方法在实现细粒度、多粒度分割或者面临大量计算开销时难以实时交互的挑战。

4. 多粒度分割：SAGA能够实现多粒度分割，并支持各种提示，包括点、涂鸦和2D掩模。

5. 快速实现：SAGA在现有基准测试中表现出与进方法相媲美的性能。更重要的是，SAGA能够在几毫秒内完成3D分割，相比先前的进方法，加速近1000倍。

SAGA通过巧妙融合2D分割和3D高斯技术，以高效、快速的方式实现了3D场景的交互式分割，克服了以往方法的一些挑战。

本文地址：HTTPS://arxiv.org/abs/2312.00732

标签： SAGA、

本文地址： https://yihaiquanyi.com/article/70a7e8cd2a091d58b440.html

上一篇：12月28日月亮星座是什么12月28亮相几乎没悬...
下一篇：雪球2021金牌企业榜雪球年度金榜出炉光峰科...