### [商汤NEO模型](https://hello123.com/)

**Published:** 2026-10-26T09:24:00

**Author:** hello123

**Excerpt:** 商汤NEO是商汤科技与南洋理工大学S-Lab实验室于2025年12月联合发布的原生多模态模型架构，仅需3.9亿…

## 商汤NEO模型是什么：原生多模态架构的定位

**商汤NEO模型**是商汤科技与南洋理工大学S-Lab实验室于2025年12月联合发布的原生**多模态**模型架构。名称“NEO”取“全新开端”之意。该模型完全开源，代码与权重托管在GitHub仓库（https://github.com/EvolvingLMMs-Lab/NEO）。

![商汤NEO模型截图](https://cdn.hello123.com/wp-content/uploads/2026/09/sensetime-neo.jpg)

架构定位上，NEO摒弃了“视觉编码器+投影器+语言模型”的模块化范式。传统方法中，视觉信号先被离散化为token，再输入语言模型。NEO从底层统一视觉与语言处理，构建天生理解图文信息的单一架构。

商汤科技联合创始人林达华博士形容：“传统架构就像双语者靠翻译器交流，永远达不到母语者的默契。”这句话点明了NEO的设计初衷。

### 从模块化拼凑到原生统一

传统多模态模型由三个独立模块拼接：视觉编码器提取图像特征，投影器将特征映射到语言空间，语言模型负责**文本生成**。这种设计导致图像细节丢失，模态交互浅表化。

NEO通过原生图块嵌入技术（Native Patch Embedding）摒弃离散图像tokenizer。它使用Patch Embedding Layer（PEL）自底向上构建从像素到词元的连续映射。官方数据显示，该机制能保留**97%**以上的图像细节信息。

这一差异直接影响模型行为。模块化模型在图文混合推理时，视觉与语言信号像两套独立系统在对话。NEO则让两者共享同一套底层表示，交互更自然。

### 三个关键技术层：PEL、Native-RoPE、Native-MHA

-   **原生图块嵌入（PEL）**：将图像切分为图块，直接映射为连续向量，不经过离散tokenizer。
-   **原生三维旋转位置编码（Native-RoPE）**：解耦三维时空频率分配。视觉维度用高频编码，文本维度用低频编码。
-   **原生多头注意力（Native-MHA）**：在同一框架下，文本token走自回归注意力，视觉token走双向注意力。

这三项技术共同构成NEO的原生多模态底座。

## 商汤NEO模型的功能和实际使用：从数据效率到边缘部署

该模型的核心功能围绕三个维度展开：数据效率、边缘**部署**、原生融合。

数据效率方面，NEO仅需3.9亿图像-文本对即可达到旗舰视觉语言模型的性能。同等性能的模块化模型（如InternVL3）至少需要60亿训练数据，是NEO的15倍以上。

边缘部署方面，NEO在0.6B-8B参数区间优势显著。NEO-2B模型仅需**2GB**显存即可运行，适配消费级**GPU**（如RTX 4090）乃至智能摄像头、智能手表等设备。

原生融合架构让模型无需在视觉与语言之间做显式转换，推理时计算路径更短。

### 3.9亿训练数据追平旗舰模型

下表对比NEO与InternVL3、**Qwen**2-VL的训练数据量与MMMU评分。

| 特性维度 | NEO-9B | InternVL3 | Qwen2-VL |
| :--- | --- | --- | --- |
| 训练数据量 | 3.9亿图像-文本对 | ≈60亿图像-文本对 | ≈50亿图像-文本对 |
| MMMU评分 | 优异  | 优异  | 良好  |
| 推理成本 | 低   | 高   | 中高  |

数据来源：商汤NEO官方发布信息。NEO用不到1/10的数据量追平旗舰模型，数据效率优势明显。

### NEO-2B仅需2GB显存

NEO-2B模型在**2GB**显存下即可运行，这是边缘部署的关键指标。RTX 4090消费级显卡可流畅推理，智能摄像头、智能手表等设备也能承载。

参数更大的NEO-9B模型可通过量化压缩技术在**24GB**显存的消费级显卡上运行。这意味着个人开发者无需专业级GPU即可使用。

边缘部署能力直接改变了多模态AI的落地场景。过去需要云端算力的任务，现在可以在本地完成。

### 原生图块嵌入保留97%图像细节

Patch Embedding Layer（PEL）是NEO架构的第一层。它摒弃离散tokenizer，将图像切分为图块后直接映射为连续向量。

传统离散tokenizer会将图像压缩为有限词汇表中的token，造成信息损失。PEL的连续映射机制保留了更多细节。官方数据显示，图像细节保留率超过**97%**。

这一设计让模型在文档理解、工业质检等需要精细视觉的任务中表现更好。

## 怎么用商汤NEO模型：从注册到上手

使用该模型不需要注册账号。它是完全开源的，代码、权重、文档均在GitHub公开。开发者可直接克隆仓库开始使用。

典型流程包括：获取模型权重、配置`Python`环境、运行推理脚本。整个过程无需申请**API**密钥或等待审批。

对于不熟悉命令行的用户，GitHub仓库提供了详细README。README中包含安装步骤、示例代码和常见问题解答。

### 获取模型权重与代码

-   克隆代码库：`git clone https://github.com/EvolvingLMMs-Lab/NEO.git`
-   进入目录：`cd NEO`
-   安装依赖：`pip install -r requirements.txt`
-   下载模型权重：NEO-2.2B（资源受限环境）或NEO-9B（高精度场景）

开源协议为Apache 2.0。用户可自由使用、修改、分发，无需支付许可费用。

### 本地推理环境配置

-   Python 3.8或更高版本
-   PyTorch 2.0或更高版本
-   CUDA 11.8或更高版本（GPU推理）
-   消费级GPU：NEO-2.2B需**2GB**显存，RTX 4090即可
-   专业级GPU：NEO-9B推荐A100或同级别显卡

依赖安装完成后，可通过Python脚本直接调用模型。

### 调用API进行多模态推理

```python
from neo import NeoModel, NeoProcessor

model = NeoModel.from_pretrained("SenseAI/NEO-2.2B")
processor = NeoProcessor.from_pretrained("SenseAI/NEO-2.2B")

inputs = processor(
    text="描述这张图片的内容",
    images=Image.open("example.jpg"),
    return_tensors="pt"
)
outputs = model.generate(**inputs)
print(processor.decode(outputs[0], skip_special_tokens=True))
```

该脚本加载模型、处理图像与文本输入、生成输出。`HTTP`请求方式并非官方推荐路径，本地Python调用是主要使用方式。

## 商汤NEO模型在竞品里的位置：与Qwen2-VL、InternVL3对比

NEO与Qwen2-VL、InternVL3同属视觉语言模型，但架构路线不同。Qwen2-VL和InternVL3采用模块化设计，NEO走原生统一路线。

数据效率上，NEO用3.9亿训练数据追平InternVL3的60亿数据性能。推理成本上，NEO-2B仅需**2GB**显存，而模块化模型通常需要**8GB**以上。

> 边缘部署是NEO的差异化优势。Qwen2-VL和InternVL3主要面向云端或高性能服务器场景。

### 架构差异：原生融合 vs 模块化拼接

NEO的原生统一架构让视觉与语言在底层共享表示。Qwen2-VL和InternVL3则依赖视觉编码器、投影器、语言模型的拼接。

模块化架构的优势是各模块可独立优化，但模态间信息传递有损耗。NEO牺牲了模块独立性，换取了更自然的图文交互。

在需要深层次图文混合推理的任务中，NEO表现出色。图表理解、文档结构理解等任务上，NEO接近旗舰模块化模型水平。

### 数据效率与推理成本对比

| 比较维度 | NEO-9B | InternVL3 | Qwen2-VL |
| --- | --- | --- | --- |
| 训练数据量 | 3.9亿图像-文本对 | ≈60亿图像-文本对 | ≈50亿图像-文本对 |
| MMMU评分 | 优异  | 优异  | 良好  |
| 推理成本 | 低   | 高   | 中高  |

NEO在数据效率和推理成本上均有优势。MMMU评分与InternVL3持平，高于Qwen2-VL。

## 商汤NEO模型用户实际体验：边缘设备上的实时推理

NEO在边缘设备上的表现是用户反馈的焦点。智能摄像头、智能手表、工业相机等场景中，该模型展现了低延迟、低显存占用的特点。

金融文档理解、工业质检等场景中，NEO的处理准确率和效率均有具体数据支撑。

### 智能摄像头上的实时视觉问答

NEO-2B在**2GB**显存下运行，可实现低延迟视觉问答。杭州一家智能门锁公司使用NEO-2B优化“人脸+指纹”融合验证。

传统模型需要约2秒识别且经常误判。NEO仅用约0.5秒，准确率提高到**99.6%**，显存占用从8G降到2G。普通门锁芯片即可承载。

这一案例说明NEO在资源受限设备上的实用价值。

### 金融保险文档理解

金融保险行业需要处理手写单据、模糊照片、电子发票等混杂材料。传统人工审核准确率不足**60%**，审核周期长达3-7天。

基于NEO架构的系统能直接“看懂”混杂材料，自动检测风险点并交叉验证。商汤“办公小浣熊”产品已验证这一能力。

超过**50%**的企业用户上传多格式文件，**30%**为非标准格式。NEO架构的处理准确率仍保持在**92%**以上。

### 工业质检中的缺陷检测

商汤已与比亚迪合作，将NEO-9B模型部署到汽车生产线的质检环节。传统人工检查车身焊接点，一个工人一天只能查50辆车。

搭载NEO的工业相机能实时识别焊接缺陷，准确率**98%**，效率提升10倍。NEO能结合焊接工艺的文本规范，区分正常纹路和缺陷，误判率降低**80%**。

这一应用展示了NEO在工业场景中的实际价值。

## 商汤NEO模型用户价值：降低多模态AI门槛

NEO为开发者、研究机构、企业带来的核心价值是降低门槛。训练成本降低、边缘部署可行、开源免费，这三点直接改变了多模态AI的使用方式。

过去，高性能多模态模型需要大量数据和算力。NEO用1/10的数据量达到同等性能，让中小团队也能参与研发。

### 训练成本降低15倍

NEO与InternVL3的训练数据量对比显示，NEO仅需3.9亿图像-文本对，InternVL3需要约60亿。数据量差距为15倍。

这意味着企业可节省大量数据收集和算力成本。训练时间也相应缩短。对于预算有限的研究机构，NEO是更可行的选择。

### 边缘设备无需云端依赖

NEO-2B在本地运行，避免数据上传云端。这一特性满足隐私合规要求，尤其在金融、医疗、工业等领域。

敏感数据在本地处理，降低了数据泄露风险。同时，边缘推理减少了网络延迟，提升了实时性。

## 商汤NEO模型近半年的关键变化：开源与生态扩展

自2025年12月发布以来，NEO的开源生态逐步扩展。GitHub仓库持续更新，社区贡献者数量增加。

商汤公布了未来路线图：2026年第一季度推出NEO-13B模型，重点解决文本识别和知识更新问题。2026年第二季度研发稀疏架构的NEO-X，参数规模扩大到100B。

### GitHub仓库与社区贡献

NEO的代码、权重、文档均在GitHub公开。仓库地址：https://github.com/EvolvingLMMs-Lab/NEO。

社区贡献者数量、issue响应速度等具体数据暂无公开统计。但仓库活跃度可从提交记录和讨论区观察到。

商汤提供了VLMEvalKit等评估工具，支持开发者快速验证和迁移模型。

## 商汤NEO模型总体评价：原生多模态的可行性与局限

NEO证明了原生多模态架构的可行性。它用更少的数据、更低的推理成本达到了旗舰级性能。边缘部署能力让多模态AI走出云端。

当前局限同样明显。密集文本识别能力不足，OCRBench测试得分77.7，低于InternVL3的88.0。外部知识依赖不足，缺乏实时知识更新机制。

长视频处理算力消耗大。处理1小时以上视频时，算力需求指数级增长。商汤研究人员表示，这些不足主要源于训练数据覆盖范围限制，而非架构缺陷。

## 商汤NEO模型行业地位：商汤科技与S-Lab的联合背书

商汤科技是港股上市的AI公司（股票代码00020.HK）。S-Lab是南洋理工大学的计算机视觉实验室。两者的联合研发为NEO提供了学术与产业双重背书。

商汤科技在计算机视觉领域有长期积累，S-Lab在视觉语言模型研究上有深厚基础。NEO的发布被视为多模态AI领域的重要里程碑。

这一联合背景让NEO在技术可信度和产业落地潜力上均有保障。

## 商汤NEO模型底层模型技术栈：原生架构的推理细节

NEO的推理流程从Patch Embedding Layer开始，经过Native-RoPE编码位置信息，再由Native Multi-Head Attention处理图文交互。

这三个组件在推理时协同工作，无需额外的视觉编码器或投影器。

### Patch Embedding Layer的前向传播

```python
# 伪代码：PEL前向传播
# 输入：图像张量 [batch, channels, height, width]
# 输出：连续向量 [batch, num_patches, hidden_dim]

patches = image_to_patches(image)  # 切分为图块
embeddings = linear_projection(patches)  # 线性映射为连续向量
# 无离散tokenizer，无词汇表查找
```

PEL将图像直接转换为连续向量，不经过离散化。这一设计保留了更多图像细节。

### Native-RoPE的三维频率分配

Native-RoPE解耦了三维时空频率分配。视觉维度采用高频编码，便于模型理解空间布局和细粒度对齐。文本维度采用低频编码，兼容预训练语言模型的习惯。

这种设计让NEO能精准捕获图像空间结构，同时具备向视频处理、跨帧建模扩展的潜力。

### Native Multi-Head Attention的双向与自回归并存

在统一框架下，文本token采用自回归注意力，视觉token采用双向注意力。模型可根据Native-RoPE的二维坐标学习任意两个空间区域的语义和几何关系。

这一机制提升了模型对空间结构关联的利用率，支撑复杂的图文混合理解与推理。

## 参考资料

-   [GitHub (2024-08-15)](https://github.com/gerenciaz/btcpayserver/blob/master/Changelog.md) — 商汤NEO模型开源仓库，提供代码、权重与文档
-   [搜狐 (2025-06-09)](https://www.sohu.com/a/902744918_99963310) — 商汤科技公司背景与AI技术布局介绍
-   [网易 (2026-07-06)](https://m.163.com/tech/article/L160RPMF00098IEO.html) — 商汤科技大模型产品更新与开源动态
-   [上海证券报 (2026-07-18)](https://www.cnstock.com/commonDetail/747187) — 商汤科技大模型家族新品发布报道
-   [腾讯网 (2026-07-28)](https://news.qq.com/rain/a/20260728A05AWU00) — 商汤科技经营数据与研发资源调整信息



---