多通道声信号处理系统，包括双通道、麦克风阵列、扬声器阵列、多输入多输出系统及分布式声学网络等，广泛应用于声信号感知与采集、分离与增强、事件检测与识别、语义理解及声场重构等领域。随着传感器、信号处理、人工智能和通信技术的发展，相关方法不断创新，推动了多通道声信号处理性能与应用能力的提升。然而，在复杂声学环境下，噪声、混响、多声源共存、通道差异及资源受限等因素仍会给声信号的高保真获取、高效传输、鲁棒处理与精准重构带来巨大挑战。如何充分利用信号的时空特性，实现高效感知、协同处理与高保真声场感知与重构，仍是亟待解决的关键问题。本报告将梳理多通道声信号感知与处理的研究进展，分析复杂环境下的关键技术问题与主要挑战，并探讨未来的发展方向。

人类在感知复杂现实世界时，视觉与听觉往往是高度协同的。随着多媒体技术与具身智能的快速发展，音频跨模态智能（特别是视听融合技术）已成为人工智能领域的前沿热点。视听融合感知旨在打破单一模态的非完备性，利用视听双模态的强关联与信息互补，实现复杂场景下发声目标的精准定位与环境理解。这不仅是机器构建类人感知能力的关键一环，在智能视频监控、人机自然交互以及机器人自主导航等领域也展现出广阔的应用前景。然而，在真实开放的复杂环境中，如何有效利用视觉与听觉实现深度协同，克服混响、多声源以及模态间信息不对称等挑战，仍是当前研究的难点。本报告将围绕视听融合的空间协同感知这一核心任务，系统梳理该领域的最新演进脉络，重点探讨视听联合感知的底层逻辑，以及主流框架在多模态特征表征与时空信息融合上的技术范式，并展望视听跨模态感知未来所面临的新机遇、潜在挑战及演进方向。

基于麦克风阵列的声信息采集与处理不仅是语音通信和人机交互系统的重要前端技术，也为声场调控提供了关键的声学信息与反馈。声学阵列技术的发展，一方面不断提升复杂环境下的声信息获取与理解能力，另一方面持续拓展声场主动调控的能力，为高质量语音交互、低噪声环境构建、个性化听音及沉浸式声场体验提供重要支撑。本报告将介绍南京大学音频声学实验室在声学感知与声场调控领域的近期研究进展及产业化合作成果，并探讨人工智能技术发展背景下声学阵列技术面临的新机遇与未来方向。

复杂声学场景中，移动、突发动态声源难以获取先验信息，传统麦克风阵列波束成形、滤波方法易出现性能下降甚至失效。本文围绕协方差矩阵残差模型，提出一种具备阵列自主感知能力的信号提取框架。在已知干扰与噪声相干矩阵前提下，通过两阶段矩阵分解，从阵列观测协方差矩阵中分离残差分量，估计未知动态声源的相干矩阵与声源功率，实现新出现未知声源实时检测与信号提取。该方法无需待提取声源的方向、特征等先验，可应对瞬态、时变声源，在干扰数量存在估计误差的场景下也具备较好鲁棒性。对比经典盲源分离算法，该方案信噪比提升显著，为复杂声场多通道信号处理提供新思路。

通用声音分离旨在从包含语音、歌声、音乐及环境声的混合音频中恢复各个声源。不同声音在频谱结构和时间变化上的显著差异，对模型的表达能力提出了较高要求，也带来了模型容量与计算开销之间的权衡。本报告介绍一种面向通用声音分离的稀疏混合专家方法，通过两种互补的路由机制，在控制计算开销的同时扩展模型容量。其中，时频轴路由将语音分离中的专家路由策略拓展至通用声音分离，依据不同时间帧和频带的声学特征选择专家；事件监督的混合级路由则利用训练阶段的声源事件标签，引导专家选择，使混合音频的事件信息与局部声学特征相互补充。推理时，模型仅依赖混合音频，无需事件标签或文本提示，即可在一次前向计算中完成多声源分离。该方法在 Hive 三声源分离测试集上取得 11.9 dB 的信号失真比提升（SDRi），优于基线的同时乘加运算量降低 84.8%。报告将结合分离实例、实验结果与路由可视化，介绍两种路由机制的设计思路，并讨论训练数据规模与模型容量对分离性能的影响。