特殊议题
面向具身智能的空间听觉与人机交互，是机器人进入真实世界并实现自主人机协作的重要基础。与人类及其他脊椎动物依靠听觉系统感知环境相似，具身智能体需要从听觉感知出发，对声事件进行识别、定位与跟踪，进一步完成听觉场景分析、空间地图构建和目标声源选择，并据此驱动导航、协作和人机交互等任务。同时，听觉与语言交互也是人类社会交往的重要方式。面向真实场景的人机交流，不能仅关注语音的清晰度、自然度，还需理解多说话人语境、空间关系、互动礼仪，隐含情感与社交规则。
本议题拟围绕商服展示、居家陪伴、工业协作等智能体的听觉及人机交互展开讨论，包括但不限于：
The ability to localise, track, and selectively attend to sound sources in dynamic environments relies on the seamless integration of auditory and visual information. This talk reviews our work on audio-visual signal processing for egocentric perception, spanning sound source localisation, tracking, and selective attention in dynamic environments. The focus will be on the seamless integration of auditory and visual information, with applications to wearable spatial intelligence, robotics, and augmented reality.
Replicating this capability in machines—enabling them to localise, track, and selectively attend to sound sources in dynamic environments—has broad applications in wearable spatial intelligence, robotics, and augmented reality. The talk reviews our work on audio-visual signal processing for egocentric perception, including sound source localisation, tracking, and selective attention in dynamic environments. Recent developments in multimodal large language models and their integration with audio-visual perception will also be discussed, with future directions towards unified egocentric spatial intelligence.
本报告旨在探讨"具身听觉"（Embodied Audition）作为具身智能核心感知能力的独立地位。传统听觉研究往往受限于信号处理的被动框架，即智能体作为环境音源的旁观者。而在具身智能范式下，我们提出听觉是智能体在交互中动态生成的"行为反馈"。通过将听觉与智能体的动作主动闭环，声音不再仅仅是信息数据，而是智能体解析物理属性、空间深度与交互动力学的关键钥匙。本报告将论证为何具身听觉应作为独立于传统声学研究的全新赛道，并展望其在构建智能体物理常识中所扮演的不可替代的角色。
空间音频通过重建三维听觉体验，为用户提供超越传统立体声的沉浸式感知，已成为虚拟现实、增强现实等沉浸式技术的核心支撑。本报告首先按时间脉络梳理了空间音频的表示形式、理解任务、生成任务及相关数据集与评测指标。其次，针对高质量多模态空间音频数据稀缺的挑战，介绍音频空间化、空间语音合成、空间歌声合成、空间音乐生成和声源定位检测等多模态录音空间音频数据集。在此基础上，报告OmniAudio任务，既从360°全景视频直接生成FOA（First-order Ambisonics）格式的空间音频。最后，针对实时流式生成能力不足，介绍因果自回归扩散Transformer架构和空间视频-音频对比学习策略，实现了从全景视频和文本提示到高质量空间音频的流式同步生成。