上海人工智能实验室开源多模态大模型“书生・万象 3.0”：能同时处理文本和多模态输入

4 月 17 日消息，据上海人工智能实验室官方公众号，4 月 16 日，上海人工智能实验室（上海 AI 实验室）升级并开源了通用多模态大模型书生・万象 3.0（InternVL3）。

官方介绍，通过采用创新的多模态预训练和后训练方法，InternVL3 多模态基础能力全面提升，在专家级基准测试、多模态性能全面测试中，10 亿~780 亿参数的全量级版本在开源模型中性能均位列第一，同时大幅提升了图形用户界面（GUI）智能体、建筑场景图纸理解、空间感知推理以及通识学科推理等方面的能力。

据介绍，该团队提出了一种创新的原生多模态预训练方法，与传统的先优化大语言模型再添加视觉能力的方法不同，这种方法在模型的预训练阶段将文本数据与多模态数据无缝结合，让模型能够同时学习语言和视觉，从而能够同时处理文本和多模态输入。

除了可以处理通用的多模态任务之外，InternVL3 还拓展了多方面的多模态能力，如图形用户界面（GUI）智能体、建筑场景图纸理解、空间感知推理、通识学科推理等。

据介绍，InternVL3 可作为 GUI 智能体，遵循指令去操作电脑或者手机上的专业软件。

汇总有关链接如下：

• 技术报告链接：https://huggingface.co/ papers / 2504.10479

• 代码开源 / 模型使用方法：https://github.com/ OpenGVLab / InternVL

• 模型地址：https://huggingface.co/ OpenGVLab / InternVL3-78B

• 公测版本：https://chat.intern-ai.org.cn/

该内容转自IT之家