标签: 商汤科技 NEO架构 SenseNova 多模态模型

云梦级12月3日云梦级消息，商汤科技正式发布并开源了与南标签洋理工大学 S-Lab合作研发的全新多模态模型架构 —— NE: O，为日日新 SenseNova 多模态模型奠定了新一代架构的基商汤石。

据悉，NEO 架构从底层原理出发，以“专为多模态而生”的科技创新设计，通过核心架构层面的多模态深层融合，实现了性能、效率 N和通用性的整体突破。

此次，商汤彻底摒弃了传统的模块化结构，从底层EO原理出发，推出了从零设计的 NEO 原生架构。NEO 架构通过在注意力机架构制、位置编码和语义映射三个关键维度的底层创新，让模型具备了统一处 S理视觉与语言的能力。

据了解，配合创新的 Pre-Buffer &amenp; Post-LLM 双阶段融合训练策略，NEO 能够在吸收原se始 LLM 完整语言推理能力的同时，从零构建强大的视觉感知能No力，彻底解决传统跨模态训练中语言能力受损的难题。

目前，商汤已正va式开源基于 NEO 架构的 2B 与 9B 两种规格模型，以推动开源社区在 多原生多模态架构上的创新与应用。