特殊议题

特殊议题 4 :复杂声学场景下的目标音频提取
发布时间:2026/7/4 0:57:14

在真实声学环境中,音频信号通常由多个说话人、多种环境声音事件、背景噪声以及混响共同构成。传统音频处理方法多面向整段音频开展识别、分类、分离或增强,难以满足用户对特定目标声音进行精准获取的需求。随着智能会议、人机交互、机器人听觉、助听增强、安防监测和多媒体内容理解等应用的发展,如何从复杂混合音频中按需提取指定目标声音,已成为音频智能处理领域的重要研究问题。

本议题聚焦"目标音频提取"这一核心方向,重点研究如何利用参考音频、目标语音特征、文本描述、视觉线索或其他先验条件,从复杂混合音频中提取用户指定的目标语音、目标声音事件或特定声源。与传统语音分离、声音事件检测或音频增强任务不同,目标音频提取强调以目标条件为约束,从复杂混合音频中提取用户关注的特定声音,实现目标声音的选择性提取与按需获取。

设立该议题的目的在于推动音频处理从面向整体信号的通用分析,向面向目标对象的条件化、精细化提取转变。目标音频提取不仅关注"能否分离声音",更关注"能否根据用户意图提取指定声音"。这要求模型具备对目标条件的有效理解能力、对复杂混合信号的建模能力,以及在噪声、混响、多说话人、多声源重叠和开放类别环境下的鲁棒泛化能力。因此,该议题有助于促进语音处理、声源分离、声音事件分析、多模态学习和音频大模型等方向的交叉融合,推动建立更加统一的目标声音提取方法体系。

议题具有重要的学术价值和应用意义。从学术层面看,目标音频提取涉及目标条件表征、混合音频建模、跨模态目标提示、语音与非语音声音统一提取、开放类别泛化以及低延迟鲁棒处理等前沿问题,有助于拓展传统音频分离与增强任务的研究边界。从应用层面看,该技术可广泛服务于智能会议中的指定说话人语音提取、助听设备中的目标语音增强、人机交互中的用户语音获取、机器人听觉中的关键声源提取、安防监测中的异常声音获取,以及多媒体内容编辑中的目标声音分离等场景,对提升智能音频系统在真实复杂环境中的感知能力、交互能力和实用价值具有重要意义。

1. 目标说话人提取与分离
2. 目标声音事件提取
3. 文本引导音频提取
4. 语言查询音频源分离
5. 音视频协同目标声音提取
6. 多模态条件驱动音频提取
7. 面向真实复杂场景的鲁棒性、泛化性和评价方法研究
王帅
照片
王帅
南京大学
李明
照片
李明
香港中文大学(深圳)
钱馨园
照片
钱馨园
北京科技大学
关键
照片
关键
哈尔滨工程大学

王帅(南京大学):shuaiwang@nju.edu.cn

李明(香港中文大学(深圳)):mingli369@cuhk.edu.cn

钱馨园(北京科技大学):qianxy@ustb.edu.cn

关键(哈尔滨工程大学):j.guan@hrbeu.edu.cn