本报告聚焦从“离线理解”走向“实时交互”的全模态模型演进,介绍 OpenMOSS 团队在视觉理解、通用音频理解、语音生成与实时视频交互方面的研究进展。报告首先梳理多模态大模型的发展脉络与关键挑战,随后围绕 MOSS-VL、MOSS-Audio 和 MOSS-TTS,说明模型架构、训练方法及其在视频理解、音频理解和语音合成中的能力。在此基础上,报告进一步介绍 MOSS Live:该模型面向持续视频流进行实时理解与交互,支持用户在任意时刻提问,根据场景变化即时回应,并在信息不足时保持静默、在新画面到来时及时修正判断,推动视频模型从“看完再回答”转向“边看边交流”。最后展示 MOSS 多模态系列从模型设计、数据训练到推理系统协同优化的技术路径。
邱锡鹏,上海创智学院副院长、复旦大学教授、模思智能创始人,CAAI Fellow,国家杰青获得者,主要研究方向为大模型、智能体以及科学工程等领域中的应用,发表学术论文被引用4万余次,5次获得AI领域高水平会议的最佳/杰出等论文奖,主持研发了MOSS等系列高影响力开源大模型。获得2022年度钱伟长中文信息处理科学技术奖一等奖(第一完成人)、2022-2023年度教育部“高校计算机专业优秀教师奖励计划”,2024年度CCF-ACM青年科技奖(每年仅1人)、2025年度吴文俊人工智能自然科学奖一等奖(第一完成人)。著作《神经网络与深度学习》累计印刷10万余册,被上百家高校作为教材使用。