近年来,语音识别技术广泛应用于智能语音助手、会议转写、智能客服和语音交互等实际场景。然而,在真实场景中,用户语音往往并不局限于标准普通话,而是广泛包含各种口音和方言。为此,面向真实复杂语音环境的多方言语音识别问题也日益受到学术界和工业界的广泛关注。
中文方言具有地域分布广、语音差异大、词汇表达多样、标注成本高和资源建设不均衡等特点。相比普通话语音数据,方言语音数据普遍存在资源稀缺、覆盖不足和标注规模有限等问题,属于典型的低资源语音识别场景。现有语音识别模型虽然在普通话标准语音上表现较好,但在多方言、低资源和跨地域泛化场景中仍面临明显挑战,难以稳定适应真实应用中的方言语音输入。
同时,当前中文方言语音处理领域仍缺乏统一、公开、可复现的标准化评估平台。不同研究工作在数据来源、方言类别、测试集划分、评价指标和实验设置上存在较大差异,导致模型性能难以进行公平、系统和可复现的比较,也在一定程度上限制了中文方言语音识别技术的持续发展。
因此,本挑战赛拟以 NCMMSC 2026 为平台,围绕中文多方言语音识别与方言识别任务,构建统一的评测数据、评价指标和竞赛流程,为学术界和工业界提供一个公开、公平、可复现的中文多方言语音处理评测平台。本赛事将发布覆盖十余种中文方言及区域性口音的人工标注语音数据,支撑低资源方言建模与跨地域泛化评估。每种方言数据均经过人工转写与质量控制,能够为低资源方言建模和跨方言泛化评估提供可靠支撑。竞赛设置两个赛道:中文多方言种类识别和中文多方言语音识别,分别评估模型对方言类别的判别能力以及对多方言语音内容的转写能力。通过本挑战赛,进一步推动低资源中文方言语音识别技术的发展,促进中文多方言语音资源建设与标准化评测体系的完善。
报告首先介绍闽南话应用背景,然后介绍厦大团队设计的拼音方案,再重点介绍闽南话识别采用的技术方案,包括早期的混合架构和端到端模型。采用渐进式训练策略和半监督学习机制,新版本字识别准确率大幅提升,且同时支持普通话识别。与其它商业系统不同的是,该系统识别结果全部用普通话字显示,对用户更加友好。报告也将介绍针对不同地方口音(如厦门音、泉州音)设计的闽南话合成系统。报告还将做系统演示。
随着"一带一路"倡议的深入推进,东南亚、中东等地区对多语言智能语音技术的需求不断增长。然而,许多语言和方言仍面临语音资源匮乏、评测体系缺失以及基础模型能力不足等挑战。本报告将介绍我们近年来在多语言语音资源建设与基础模型研究方面的探索与进展。
报告首先介绍团队构建的GigaSpeech2大规模多语言语音数据集,涵盖东南亚多种低资源语言,为多语言语音识别与合成研究提供高质量训练资源。随后介绍GigaSpeechBench多语言语音评测基准,系统评估当前开源与商用模型在低资源语言、方言及跨语言场景下的性能表现,并分析当前技术面临的主要挑战。此外,报告还将分享我们在阿拉伯语及阿拉伯语方言方向的研究进展,包括大规模语音数据建设、多方言语音识别系统以及多方言语音合成模型等工作。
通过上述实践,我们希望为"一带一路"国家多语言语音技术的发展提供高质量数据资源、评测基准和基础模型支撑,并探讨未来多语言语音智能的发展方向。
本报告聚焦长时多人会议语音中的说话人归属识别任务,即识别"谁在什么时候说了什么"。针对现有方法在分块推理中容易出现说话人身份不一致、时间边界不精确等问题,报告介绍端到端框架G-STAR。该方法结合说话人跟踪缓存与Speech-LLM,通过跨块维护说话人身份,并将说话人线索融入大语言模型解码过程,实现带时间戳和全局说话人标签的语音转写。实验结果表明,G-STAR在多项会议语音数据集上优于传统级联方法和现有端到端模型,具有较好的长时多说话人语音理解能力。
方言需求井喷背后,口音杂、差异大、标准乱、数据缺仍是核心瓶颈。大厂普遍面临小宗方言数据不足、跨域泛化弱、嘈杂环境准确率低等问题,对标准化、全覆盖、高品质方言数据库需求极为迫切。慧听搭建全流程标准化生产体系,结合方言地域特征完成全域采集,以专业录制环境留存原声特征。依托统一标注规则与多级质检,打造高一致性的优质方言语料,赋能语音技术研发。