该本文介绍了一种名为GLEE的全新通用物体级别基础模型。该模型由华中科技大学、字节跳动和约翰斯·霍普金斯大学的研究人员共同研发。它采用深度学习技术，使计算机视觉系统能够像虚拟侦探一样，对图像和文本进行识别、跟踪和理解。GLEE具有卓越的通用性，可以在各种任务中定位和识别物体，无需特定任务的适应。该模型集成了图像编码器、文本编码器和视觉提示器，用于多模态输入处理和广义物体表示预测。通过在Objects365、COCO和VisualGenome等多样化的数据集上进行训练，GLEE可以实现对象检测、分割、跟踪、定位和识别等开放场景中的对象。同时，GLEE还展现了卓越的灵活性和强大的泛化能力，可以有效应对各种下游任务。

在技术上，GLEE通过使用动态类头的MaskDINO以及相似性计算进行预测的对象解码器，在目标检测和实例分割的预训练基础上进行联合训练，提升了在各种图像和视频任务中的性能。与其他模型集成时，GLEE仍然保持着进性能，展示了其表示的多样性和有效性。此外，通过整合大量自动标记的数据，GLEE在零样本泛化方面取得了显著进展。

除了技术突破，研究人员还探索了GLEE在处理复杂场景和具有长尾分布的挑战性数据集方面的能力，并使用广泛的图像-标题对进行训练，以提高GLEE生成详细图像内容的潜力。

GLEE作为一种基础模型，为当前视觉基础模型的局限性提供了创新性的解决方案，提供准确而通用的物体级信息。

项目体验网址：https://top.aibase.com/tool/glee

本文网址：https://arxiv.org/abs/2312.09158

标签： GLEE、 视频分析、 图像分析、

本文地址： https://yihaiquanyi.com/article/9f264b8d3f11a3440efd.html

上一篇：提醒这些药品停产停用提醒这些药物同样需注...
下一篇：vivoiqooneo8vivoIMX920加持X100同款iQOOPr...