商汤SenseNova-Vision开源,统一大模型性能强劲
商汤科技发布“日日新SenseNova-Vision”统一视觉大模型,重塑AI视觉理解能力
商汤科技近日正式推出并全面开源其“日日新SenseNova-Vision”理解生成统一视觉大模型,此举标志着商汤在日日新大模型体系中的视觉能力迎来重大升级。不同于以往将多种视觉任务的专家模型进行简单集成的做法,SenseNova-Vision的核心突破在于将视觉能力原生融入通用大模型体系,使其成为模型自身的基础能力,而非外部组件的集合。

该模型在多项关键视觉任务上展现出卓越性能,以“单模型”架构实现了对目标检测、指代检测、OCR、关键点定位等结构化视觉理解任务的全面领先。尤其在处理稠密小目标检测和识别长尾类别等复杂场景时,SenseNova-Vision的表现尤为突出,能够媲美甚至超越专门为此类任务优化的专家模型。
深度几何预测与分割能力同样出众
在稠密几何预测领域,SenseNova-Vision在深度估计和表面法向估计方面的精度已达到专用几何模型的水平,并且在室内外多种场景下均保持了高度的稳定性。其分割能力涵盖了通用分割、推理分割和交互式分割,得益于强大的多模态理解能力,在推理分割和对话式分割任务上带来了惊艳的表现。此外,该模型还能够以单模型高质量地完成多视角点云重建和相机位姿估计,在通用视觉模型路线中处于领先地位。

与现有模型对比,SenseNova-Vision在结构化理解、稠密几何预测、全景分割以及多视角3D等多个视觉任务上均实现了显著超越。在与生成导向模型Vision Banana的横向比较中,SenseNova-Vision展现出明显的代际优势,在绝大多数权威评测指标上均实现领跑。Vision Banana仅能处理特定类型的视觉问题,而SenseNova-Vision则能全面覆盖更为广泛且复杂的视觉任务。
商汤科技在开源方面不仅提供了模型本身,还同步开放了包含5000万条样本的视觉指令语料库“SenseNova-Vision Corpus-50M”。这一举措旨在降低AI视觉技术的研发门槛,加速相关技术的落地应用。未来,商汤科技计划将SenseNova-Vision的核心技术深度整合进其日日新U系列大模型之中,进一步提升通用大模型的视觉理解与生成能力。
SenseNova-Vision作为一款统一视觉大模型,其核心优势在于将视觉任务深度融入通用大模型体系,实现了“单模型”在多项复杂视觉任务上的通用性和高性能。该模型的推出以及相关语料库的开源,有望推动AI视觉技术的进一步发展和广泛应用,尤其是在需要高精度视觉理解和复杂场景处理的领域。