Github获8k Star!入选苹果CoreML模型库的Depth Anything是怎么做出 ...

发布网友 发布时间：2024-10-24 12:05

我来回答

共1个回答

热心网友 时间：2024-10-31 10:57

字节跳动大模型团队的深度估计成果“Depth Anything”V2入选苹果官方的Core ML模型库。该成果经过了从深度估计的单一视觉任务出发，通过实践和思考对Scaling Laws的理解，以及在训练过程中的优化和模型规模的调整，最终在深度估计领域取得了显著的成果。

Depth Anything V2在细节处理上更精细，鲁棒性更强，速度相比基于Diffusion的SOTA模型有显著提升。此版本在Github上已获得2.3k星标，而V1版本则收获了6.4k星标。V1和V2版本的论文作者为团队实习生，展示了实习生在大模型研究中的重要角色。

苹果公司Core ML模型库的集成，表明Depth Anything V2具备在iOS和MacOS等设备上高效运行的能力，无需互联网连接，可执行复杂AI任务，同时保护用户隐私并减少延迟。此次入选的模型还包括FastViT、ResNet50、YOLOv3等，覆盖了自然语言处理到图像识别等多个领域。

深度估计是计算机视觉领域中的重要任务之一，旨在从图像中推断出场景内物体的距离信息。Depth Anything V2作为单目深度估计模型，能够应用于视频特效、自动驾驶、3D建模、增强现实、安全监控以及空间计算等领域。

在训练模型时，团队面临的主要挑战是如何在不标注数据集内获取大量知识，并在训练过程中对无标注图像加入强扰动。通过设计数据引擎收集并自动标注大量数据，以及引入预训练编码器促使模型继承丰富的语义先验知识，团队最终使得模型在一些指标上超越了参考模型。

团队通过优化细节与模型规模，解决了模型的鲁棒性和细节丰富度问题，使得Depth Anything V2在速度上快于基于稳定扩散的最新模型10倍以上，效率更高。这一过程中，团队还提出了DA-2K评价基准，该基准考虑了精确的深度关系、广泛场景和高分辨率图像，从而更好地评价模型表现。

Depth Anything成果的发布，展示了实习生在大模型研究中的潜力，以及公司和团队在支持实习生研究、提供自由研究氛围方面的努力。这些努力不仅促进了深度估计任务的进展，也体现了公司在视觉生成及大模型领域持续探索的决心。