商汤NEO模型是什么：原生多模态架构的定位
商汤NEO模型是商汤科技与南洋理工大学S-Lab实验室于2025年12月联合发布的原生多模态模型架构。名称“NEO”取“全新开端”之意。该模型完全开源，代码与权重托管在GitHub仓库（https://github.com/EvolvingLMMs-Lab/NEO）。
架构定位上，NEO摒弃了“视觉编码器+投影器+语言模型”的模块化范式。传统方法中，视觉信号先被离散化为token，再输入语言模型。NEO从底层统一视觉与语言处理，构建天生理解图文信息的单一架构。
商汤科技联合创始人林达华博士形容：“传统架构就像双语者靠翻译器交流，永远达不到母语者的默契。”这句话点明了NEO的设计初衷。
从模块化拼凑到原生统一
传统多模态模型由三个独立模块拼接：视觉编码器提取图像特征，投影器将特征映射到语言空间，语言模型负责文本生成。这种设计导致图像细节丢失，模态交互浅表化。
NEO通过原生图块嵌入技术（Native Patch Embedding）摒弃离散图像tokenizer。它使用Patch Embedding Layer（PEL）自底向上构建从像素到词元的连续映射。官方数据显示，该机制能保留97%以上的图像细节信息。
这一差异直接影响模型行为。模块化模型在图文混合推理时，视觉与语言信号像两套独立系统在对话。NEO则让两者共享同一套底层表示，交互更自然。
三个关键技术层：PEL、Native-RoPE、Native-MHA
- 原生图块嵌入（PEL）：将图像切分为图块，直接映射为连续向量，不经过离散tokenizer。
- 原生三维旋转位置编码（Native-RoPE）：解耦三维时空频率分配。视觉维度用高频编码，文本维度用低频编码。
- 原生多头注意力（Native-MHA）：在同一框架下，文本token走自回归注意力，视觉token走双向注意力。
这三项技术共同构成NEO的原生多模态底座。
商汤NEO模型的功能和实际使用：从数据效率到边缘部署
该模型的核心功能围绕三个维度展开：数据效率、边缘部署、原生融合。
数据效率方面，NEO仅需3.9亿图像-文本对即可达到旗舰视觉语言模型的性能。同等性能的模块化模型（如InternVL3）至少需要60亿训练数据，是NEO的15倍以上。
边缘部署方面，NEO在0.6B-8B参数区间优势显著。NEO-2B模型仅需2GB显存即可运行，适配消费级GPU（如RTX 4090）乃至智能摄像头、智能手表等设备。
原生融合架构让模型无需在视觉与语言之间做显式转换，推理时计算路径更短。
3.9亿训练数据追平旗舰模型
下表对比NEO与InternVL3、Qwen2-VL的训练数据量与MMMU评分。
| 特性维度 | NEO-9B | InternVL3 | Qwen2-VL |
|---|---|---|---|
| 训练数据量 | 3.9亿图像-文本对 | ≈60亿图像-文本对 | ≈50亿图像-文本对 |
| MMMU评分 | 优异 | 优异 | 良好 |
| 推理成本 | 低 | 高 | 中高 |
数据来源：商汤NEO官方发布信息。NEO用不到1/10的数据量追平旗舰模型，数据效率优势明显。
NEO-2B仅需2GB显存
NEO-2B模型在2GB显存下即可运行，这是边缘部署的关键指标。RTX 4090消费级显卡可流畅推理，智能摄像头、智能手表等设备也能承载。
参数更大的NEO-9B模型可通过量化压缩技术在24GB显存的消费级显卡上运行。这意味着个人开发者无需专业级GPU即可使用。
边缘部署能力直接改变了多模态AI的落地场景。过去需要云端算力的任务，现在可以在本地完成。
原生图块嵌入保留97%图像细节
Patch Embedding Layer（PEL）是NEO架构的第一层。它摒弃离散tokenizer，将图像切分为图块后直接映射为连续向量。
传统离散tokenizer会将图像压缩为有限词汇表中的token，造成信息损失。PEL的连续映射机制保留了更多细节。官方数据显示，图像细节保留率超过97%。
这一设计让模型在文档理解、工业质检等需要精细视觉的任务中表现更好。
怎么用商汤NEO模型：从注册到上手
使用该模型不需要注册账号。它是完全开源的，代码、权重、文档均在GitHub公开。开发者可直接克隆仓库开始使用。
典型流程包括：获取模型权重、配置Python环境、运行推理脚本。整个过程无需申请API密钥或等待审批。
对于不熟悉命令行的用户，GitHub仓库提供了详细README。README中包含安装步骤、示例代码和常见问题解答。
获取模型权重与代码
- 克隆代码库：
git clone https://github.com/EvolvingLMMs-Lab/NEO.git - 进入目录：
cd NEO - 安装依赖：
pip install -r requirements.txt - 下载模型权重：NEO-2.2B（资源受限环境）或NEO-9B（高精度场景）
开源协议为Apache 2.0。用户可自由使用、修改、分发，无需支付许可费用。
本地推理环境配置
- Python 3.8或更高版本
- PyTorch 2.0或更高版本
- CUDA 11.8或更高版本（GPU推理）
- 消费级GPU：NEO-2.2B需2GB显存，RTX 4090即可
- 专业级GPU：NEO-9B推荐A100或同级别显卡
依赖安装完成后，可通过Python脚本直接调用模型。
调用API进行多模态推理
from neo import NeoModel, NeoProcessor
model = NeoModel.from_pretrained("SenseAI/NEO-2.2B")
processor = NeoProcessor.from_pretrained("SenseAI/NEO-2.2B")
inputs = processor(
text="描述这张图片的内容",
images=Image.open("example.jpg"),
return_tensors="pt"
)
outputs = model.generate(**inputs)
print(processor.decode(outputs[0], skip_special_tokens=True))
该脚本加载模型、处理图像与文本输入、生成输出。HTTP请求方式并非官方推荐路径，本地Python调用是主要使用方式。
商汤NEO模型在竞品里的位置：与Qwen2-VL、InternVL3对比
NEO与Qwen2-VL、InternVL3同属视觉语言模型，但架构路线不同。Qwen2-VL和InternVL3采用模块化设计，NEO走原生统一路线。
数据效率上，NEO用3.9亿训练数据追平InternVL3的60亿数据性能。推理成本上，NEO-2B仅需2GB显存，而模块化模型通常需要8GB以上。
边缘部署是NEO的差异化优势。Qwen2-VL和InternVL3主要面向云端或高性能服务器场景。
架构差异：原生融合 vs 模块化拼接
NEO的原生统一架构让视觉与语言在底层共享表示。Qwen2-VL和InternVL3则依赖视觉编码器、投影器、语言模型的拼接。
模块化架构的优势是各模块可独立优化，但模态间信息传递有损耗。NEO牺牲了模块独立性，换取了更自然的图文交互。
在需要深层次图文混合推理的任务中，NEO表现出色。图表理解、文档结构理解等任务上，NEO接近旗舰模块化模型水平。
数据效率与推理成本对比
| 比较维度 | NEO-9B | InternVL3 | Qwen2-VL |
|---|---|---|---|
| 训练数据量 | 3.9亿图像-文本对 | ≈60亿图像-文本对 | ≈50亿图像-文本对 |
| MMMU评分 | 优异 | 优异 | 良好 |
| 推理成本 | 低 | 高 | 中高 |
NEO在数据效率和推理成本上均有优势。MMMU评分与InternVL3持平，高于Qwen2-VL。
商汤NEO模型用户实际体验：边缘设备上的实时推理
NEO在边缘设备上的表现是用户反馈的焦点。智能摄像头、智能手表、工业相机等场景中，该模型展现了低延迟、低显存占用的特点。
金融文档理解、工业质检等场景中，NEO的处理准确率和效率均有具体数据支撑。
智能摄像头上的实时视觉问答
NEO-2B在2GB显存下运行，可实现低延迟视觉问答。杭州一家智能门锁公司使用NEO-2B优化“人脸+指纹”融合验证。
传统模型需要约2秒识别且经常误判。NEO仅用约0.5秒，准确率提高到99.6%，显存占用从8G降到2G。普通门锁芯片即可承载。
这一案例说明NEO在资源受限设备上的实用价值。
金融保险文档理解
金融保险行业需要处理手写单据、模糊照片、电子发票等混杂材料。传统人工审核准确率不足60%，审核周期长达3-7天。
基于NEO架构的系统能直接“看懂”混杂材料，自动检测风险点并交叉验证。商汤“办公小浣熊”产品已验证这一能力。
超过50%的企业用户上传多格式文件，30%为非标准格式。NEO架构的处理准确率仍保持在92%以上。
工业质检中的缺陷检测
商汤已与比亚迪合作，将NEO-9B模型部署到汽车生产线的质检环节。传统人工检查车身焊接点，一个工人一天只能查50辆车。
搭载NEO的工业相机能实时识别焊接缺陷，准确率98%，效率提升10倍。NEO能结合焊接工艺的文本规范，区分正常纹路和缺陷，误判率降低80%。
这一应用展示了NEO在工业场景中的实际价值。
商汤NEO模型用户价值：降低多模态AI门槛
NEO为开发者、研究机构、企业带来的核心价值是降低门槛。训练成本降低、边缘部署可行、开源免费，这三点直接改变了多模态AI的使用方式。
过去，高性能多模态模型需要大量数据和算力。NEO用1/10的数据量达到同等性能，让中小团队也能参与研发。
训练成本降低15倍
NEO与InternVL3的训练数据量对比显示，NEO仅需3.9亿图像-文本对，InternVL3需要约60亿。数据量差距为15倍。
这意味着企业可节省大量数据收集和算力成本。训练时间也相应缩短。对于预算有限的研究机构，NEO是更可行的选择。
边缘设备无需云端依赖
NEO-2B在本地运行，避免数据上传云端。这一特性满足隐私合规要求，尤其在金融、医疗、工业等领域。
敏感数据在本地处理，降低了数据泄露风险。同时，边缘推理减少了网络延迟，提升了实时性。
商汤NEO模型近半年的关键变化：开源与生态扩展
自2025年12月发布以来，NEO的开源生态逐步扩展。GitHub仓库持续更新，社区贡献者数量增加。
商汤公布了未来路线图：2026年第一季度推出NEO-13B模型，重点解决文本识别和知识更新问题。2026年第二季度研发稀疏架构的NEO-X，参数规模扩大到100B。
GitHub仓库与社区贡献
NEO的代码、权重、文档均在GitHub公开。仓库地址：https://github.com/EvolvingLMMs-Lab/NEO。
社区贡献者数量、issue响应速度等具体数据暂无公开统计。但仓库活跃度可从提交记录和讨论区观察到。
商汤提供了VLMEvalKit等评估工具，支持开发者快速验证和迁移模型。
商汤NEO模型总体评价：原生多模态的可行性与局限
NEO证明了原生多模态架构的可行性。它用更少的数据、更低的推理成本达到了旗舰级性能。边缘部署能力让多模态AI走出云端。
当前局限同样明显。密集文本识别能力不足，OCRBench测试得分77.7，低于InternVL3的88.0。外部知识依赖不足，缺乏实时知识更新机制。
长视频处理算力消耗大。处理1小时以上视频时，算力需求指数级增长。商汤研究人员表示，这些不足主要源于训练数据覆盖范围限制，而非架构缺陷。
商汤NEO模型行业地位：商汤科技与S-Lab的联合背书
商汤科技是港股上市的AI公司（股票代码00020.HK）。S-Lab是南洋理工大学的计算机视觉实验室。两者的联合研发为NEO提供了学术与产业双重背书。
商汤科技在计算机视觉领域有长期积累，S-Lab在视觉语言模型研究上有深厚基础。NEO的发布被视为多模态AI领域的重要里程碑。
这一联合背景让NEO在技术可信度和产业落地潜力上均有保障。
商汤NEO模型底层模型技术栈：原生架构的推理细节
NEO的推理流程从Patch Embedding Layer开始，经过Native-RoPE编码位置信息，再由Native Multi-Head Attention处理图文交互。
这三个组件在推理时协同工作，无需额外的视觉编码器或投影器。
Patch Embedding Layer的前向传播
# 伪代码：PEL前向传播
# 输入：图像张量 [batch, channels, height, width]
# 输出：连续向量 [batch, num_patches, hidden_dim]
patches = image_to_patches(image) # 切分为图块
embeddings = linear_projection(patches) # 线性映射为连续向量
# 无离散tokenizer，无词汇表查找
PEL将图像直接转换为连续向量，不经过离散化。这一设计保留了更多图像细节。
Native-RoPE的三维频率分配
Native-RoPE解耦了三维时空频率分配。视觉维度采用高频编码，便于模型理解空间布局和细粒度对齐。文本维度采用低频编码，兼容预训练语言模型的习惯。
这种设计让NEO能精准捕获图像空间结构，同时具备向视频处理、跨帧建模扩展的潜力。
Native Multi-Head Attention的双向与自回归并存
在统一框架下，文本token采用自回归注意力，视觉token采用双向注意力。模型可根据Native-RoPE的二维坐标学习任意两个空间区域的语义和几何关系。
这一机制提升了模型对空间结构关联的利用率，支撑复杂的图文混合理解与推理。
参考资料
- GitHub (2024-08-15) — 商汤NEO模型开源仓库，提供代码、权重与文档
- 搜狐 (2025-06-09) — 商汤科技公司背景与AI技术布局介绍
- 网易 (2026-07-06) — 商汤科技大模型产品更新与开源动态
- 上海证券报 (2026-07-18) — 商汤科技大模型家族新品发布报道
- 腾讯网 (2026-07-28) — 商汤科技经营数据与研发资源调整信息
