特殊议题
多语言智能语音与语言技术面向不同语言、方言及跨语言应用场景，研究如何构建能够理解、生成、翻译和交互的智能语音语言系统，是当前人工智能和大模型技术发展的重要方向。随着全球化交流需求、低资源语言保护、跨语言信息获取以及多语种人机交互应用的快速增长，多语言语音识别、语音合成、语音翻译、自然语言处理、跨语言对话系统等技术受到学术界和产业界的广泛关注。近年来，大规模预训练模型、语音语言大模型、半监督/自监督学习、跨语言迁移学习、多模态建模等方法不断发展，为解决多语言数据稀缺、语言差异显著、方言和少数民族语言资源不足、跨语言泛化能力有限等问题提供了新的技术路径。
SALT-Multilingual系列研讨会，于2023年（南宁，CCF），2025年（乌鲁木齐，NCMMSC）已成功举办两届，旨在邀请学术界和工业界的专家学者，围绕多语言智能语音与语言技术的最新研究进展、关键科学问题、系统实现方法和产业应用场景展开深入交流。研讨内容可涵盖多语言语音识别与生成、跨语言语音翻译、低资源语言建模、方言与少数民族语言处理、语音语言大模型、多模态语音语言理解、多语言人机对话与智能体等方向。通过本次第三届研讨会，希望进一步促进相关领域研究人员之间的学术交流，推动多语言智能语音与语言技术在教育、通信、媒体、政务、文化保护、国际交流等场景中的应用落地，助力构建更加开放、普惠和可持续发展的智能语音语言技术生态。
本报告系统介绍西北工业大学ASLP实验室及其合作伙伴近期在大模型驱动的语音识别与理解领域的研究进展，涵盖基于大语言模型的语音识别新范式、多说话人语音识别、长音频理解、多模态情感理解与共情对话等前沿方向。同时，报告还将分享团队在开源数据集建设方面的最新成果，探讨语音与语言技术融合发展的新趋势。
本报告将介绍上海交通大学X-LANCE实验室近年来在多语言语音识别与语音合成领域的研究进展。随着"一带一路"倡议的持续推进，东南亚、阿拉伯地区等多语言、多方言国家对智能语音技术的需求日益增长。然而，大多数语言仍面临语音数据稀缺、标注成本高以及技术覆盖不足等挑战，如何构建高性能、低成本、可扩展的多语言语音系统已成为当前的重要研究方向。
围绕上述问题，报告首先介绍团队在多语言语音资源建设方面的探索，包括GigaSpeech2、GigaSpeechBench等大规模多语言数据集与评测基准的构建工作，重点分享东南亚语言和阿拉伯语方言等低资源语言的数据采集、清洗与质量控制经验；在语音识别方面，报告将介绍团队基于自监督学习、多语言迁移学习和统一建模框架的研究进展，以及在越南语、泰语、印尼语和阿拉伯语等语言上的实践成果；在语音合成方面，报告将重点介绍团队近期提出的Habibi、X-Voice等开源模型，探讨如何利用统一音素表示、多语言预训练以及零样本音色克隆技术，实现覆盖数十种语言和方言的高自然度语音生成。
提高语言覆盖度是多语言语音合成研究的重要目标。本报告将介绍基于扩散语言模型风格的极简架构，构建具备极广语言覆盖度的音色克隆语音合成模型方案，并将从模型设计的角度分析语音合成模型在不同应用场景下的解决方案，探讨开源语音合成技术的未来发展方向。
随着语音大模型的发展，ASR正从传统的声学转写模块，演变为连接多语言语音、上下文语义与Agent交互任务的关键入口。本报告以NIO自研语音识别大模型NIM4-ASR为例，探讨如何在普通话、方言、英语及中英混说等多语言场景下，构建参数高效、低幻觉、可个性化的语音识别大模型。我们以"声学保真、语义对齐、上下文可控"为核心设计准则，围绕音素级建模、多阶段训练、强化学习与热词个性化定制等关键技术路径展开介绍。希望通过这一案例，分享语音大模型从"转写文字"走向"理解真实意图"的实践思考，为多语言智能语音系统与语音智能体的研究与发展提供参考。
欧智坚（清华大学）：ozj@tsinghua.edu.cn
洪青阳（厦门大学）：qyhong@xmu.edu.cn