特殊议题

特殊议题 6 :面向生成式音频的可信音频处理方法
发布时间:2026/7/4 1:14:38

近年来,随着生成式AI技术的出现与快速迭代,生成音频的自然度与说话人相似度也得到了大幅提升,带来了语音鉴伪、说话人识别鉴定、训练样本追踪等问题。一方面,现有的音频信息处理技术在稳定性、鲁棒性、泛化性和可解释性等方面仍面临挑战;另一方面,隐私泄露、声纹欺骗等新型问题亟待解决。可信音频处理技术旨在解决音频信息处理技术中的算法鲁棒性、隐私性、稳定性问题。本专题拟邀请近年来在可信音频领域有所建树的青年研究人员,展示可信音频处理技术这一新兴课题,探讨已有音频信息处理技术中的隐私保护与数据追踪问题,并瞄准生成式音频处理技术新业态下,可信音频信息处理的技术、评测与落地场景。专题汇集学术界与工业界力量,展示语音鉴伪、声纹保护与识别、训练数据追踪等前沿可信音频处理技术,展示相关技术在开放场景下的落地瓶颈,为下一代基于可信人工智能的音频安全技术奠定合规应用基础。

刘学琛
照片
刘学琛
西交利物浦大学
李圣辰
照片
李圣辰
西交利物浦大学
朱美能
照片
朱美能
国际关系学院
通过鲁棒说话人表征学习实现最大化说话人可分性
李哲 · 香港大学 · 博士后研究员 · zheli8@hku.hk

说话人表征学习旨在提取紧凑且具有判别性的嵌入表征,以捕捉说话人特有的声学特征,同时尽可能降低语言内容和声学环境变化带来的影响。然而,现有方法仍面临若干挑战:一是难以有效降低同一说话人在不同语音条件下的表征差异;二是大规模预训练语音模型在说话人验证任务中的高效适配仍存在计算和存储成本较高的问题;三是说话人身份信息与语音内容信息往往相互耦合,难以直接获得内容无关的说话人表征。

本报告将围绕上述问题介绍三项研究工作。首先,我们提出一种结合加性角度间隔的监督对比学习框架,以提升类内紧凑性和类间可分性。通过最大化帧级特征与说话人表征之间的互信息,该方法能够在多种数据增强条件下保留与说话人相关的关键信息。其次,我们探索面向预训练Transformer语音模型的参数高效微调方法,包括动态提示微调和谱感知LoRA,在显著降低计算与存储开销的同时,实现对说话人验证任务的有效适配。最后,我们提出一种基于扩散模型的变分框架,用于解耦说话人音色与语音内容,从而获得对语言内容变化更加鲁棒的内容无关说话人表征。在CN-Celeb、VoxCeleb和CU-MARVEL数据集上的实验结果表明,上述方法能够有效提升说话人表征的鲁棒性、迁移能力和可解释性。本研究通过增强说话人验证系统中的判别能力、适配效率和内容不变性,为更加可信的说话人表征学习提供了新的思路。

基于真伪语音差异建模的深伪语音检测研究
李梦璐 · 清华大学深圳国际研究生院 · 博士后研究员 · menglu.li@sz.tsinghua.edu.cn

深伪语音检测是可信音频处理中的关键任务之一。随着当前生成式语音技术快速发展,伪造语音在自然度和说话人相似度方面不断提升。同时,生成模型的快速迭代以及跨语种、跨场景检测条件的复杂性,也使现有方法在真实开放场景中的稳定应用面临挑战。本报告将系统回顾深伪语音检测的关键问题与研究进展,并介绍团队围绕真实语音与深伪语音细粒度差异开展的系列研究,涵盖全局伪造与局部伪造等检测场景,包括背景噪声与低频残差信息建模、多子带动态表征、时间差分建模等工作。本报告将总结团队在检测泛化性与可解释性方面的探索与成果,并探讨面向真实开放场景的可信深伪语音检测新范式。

基于去噪扩散概率模型的匿名说话人韵律-情感修护方法研究
王婷婷 · 南京邮电大学 · 讲师 · tingting_wang@nju.edu.cn

本工作基于去噪扩散概率模型设计了一种匿名化说话人韵律情感编码器,该编码器能够从匿名化的韵律中恢复情感风格,从而提升语音的匿名化效果和自然度。与以往依赖外部情感编码器的方法不同,本文方法直接利用去噪扩散概率模型,从匿名化后的韵律中修复情感状态。

面向音频生成模型的成员推断攻击:从扩散内部信号到结构匹配校准
刘宇轩 · 西交利物浦大学 · 博士研究生 · yuxuan.liu2204@student.xjtlu.edu.cn

随着音频与音乐生成模型在内容创作、语音交互和智能媒体中的广泛应用,训练数据隐私泄露问题逐渐成为值得关注的安全风险。其中,成员推断攻击旨在判断某一候选音频样本是否曾参与模型训练,是评估生成模型记忆行为和数据泄露风险的重要工具。本报告围绕音频扩散模型中的成员推断问题展开,重点讨论在同分布非成员样本干扰和低误报率要求下,传统打分方法为何难以稳定区分训练成员与相似非成员。报告将介绍一种基于扩散反向过程内部响应的分析思路,通过观测候选样本在中间去噪阶段的扰动稳定性,刻画模型对训练样本的潜在记忆信号。在此基础上,进一步引入音乐结构匹配的条件校准机制,为每个候选样本构造局部硬非成员参照分布,从而减少风格、节奏和结构相似性带来的误判。实验结果表明,该思路能够在严格低误报率场景下提升成员识别能力,为音频生成模型的隐私评估、训练数据审计和责任模型发布提供新的技术参考。

刘学琛(西交利物浦大学):Xuechen.Liu@xjtlu.edu.cn

李圣辰(西交利物浦大学):Shengchen.Li@xjtlu.edu.cn

朱美能(国际关系学院):zmneng@uir.edu.cn