为阐释具身智能体中共情能力的涌现机制，本报告提出一个基于主动推理（Active Inference）的计算框架。该框架通过显式视角采择与自我-他人模型转换，无需为每个交互者维护独立的生成模型，即可基于单一生成模型实现多智能体交互；智能体通过动态转换自我模型来推断他者的信念、目标与行动倾向。

该框架已在多智能体交互式资源分配任务中得到验证，结果表明：共情驱动的合作仅在互惠条件下涌现，而不对称共情将导致系统性剥削。进一步将框架扩展至学习型智能体，结合贝叶斯模型更新发现，尽管开放模型可快速收敛，但长期合作稳定性仍由内在共情参数主导。

这些发现将主动推理确立为社会对齐AI的基础原则——通过内部模拟而非行为模仿实现协调，为构建可信、可解释且具备伦理根基的共情智能体设计提供了新范式。

语音情感识别（SER）旨在从语音信号中识别情感。现有研究通常以多数投票标注作为模型训练的真值标签，但忽略了由于情感模糊性和人类感知主观性导致的真值标签与自估计标签之间的差异。针对这一问题，本报告提出一种基于双分支混合专家（MoE）网络、通过自估计标签进行学习的语音情感识别方法。

该方法包含语音表征提取模块和双分支MoE模块，通过将自估计标签纳入监督过程来缓解标签差异问题。在多个情感语音数据集上的实验结果表明，所提方法优于现有先进方法，验证了其在语音情感识别任务中的有效性。

在模态缺失条件下的多模态情感识别中，适应不同的缺失场景至关重要。现有方法主要关注特征重建，但很大程度上忽略了不同模态之间情感表达的不一致性。忽视这种不一致性是有风险的，因为可用模态可能传递误导性信息，导致模型学习到错误的映射关系。

为解决这一被忽视的问题，本报告提出F2M-Net框架，显式地考虑并缓解这些冲突。与以往忽略模态不一致性的方法不同，我们利用自适应软标签学习机制，基于实例级输入可靠性动态校准监督信号。该机制降低了过拟合于误导性线索的风险，从而提升鲁棒性。实验结果表明，F2M-Net在多个数据集上优于现有基线方法。

情感识别与意图识别是自然语言处理和多模态计算中的关键任务，也是智能人机交互的基石。然而，传统研究常将二者视为独立的下游任务，忽略了其内在的因果关联。因此，在处理讽刺等复杂语境时，现有模型往往因跨任务信息交互不足而产生识别偏差。

针对上述挑战，本报告在多模态联合识别基线模型EI2的基础上提出改进框架。首先，为解决基线模型的可复现性问题，设计了鲁棒的多模态特征提取流程以实现跨模态维度对齐。其次，针对级联融合阶段静态查询向量的局限性，提出新颖的Swapped-Query级联融合机制，通过重构底层注意力检索逻辑，迫使情感分支与意图分支相互利用对方的特征，从而促进深度跨任务交互。此外，为缓解长尾数据分布导致的性能约束，引入交叉熵与Focal Loss加权融合的混合损失函数。最后，为增强模型可解释性，引入注意力可视化模块以分析跨模态动态注意力迁移。

在MC-EIU多模态数据集上的实验结果表明，所提方法取得显著性能提升：意图识别任务平均准确率从46.60%提升至48.25%，少数类非加权平均召回率（UAR）从25.18%显著提升至31.43%；情感识别任务准确率同步提升3.12%。案例研究进一步证实，模型在算法层面有效捕捉了模态间的互补关系，证明了其在精准识别与深度语义理解方面的双重能力。本报告为复杂对话场景下的多模态情感与意图联合理解提供了有效且可解释的框架。

共情对话系统旨在通过感知和表达多模态情感来复现类人交互。然而，当前研究受限于高质量多模态数据集的稀缺性，以及级联生成流程的主导地位，导致语言内容与副语言表达之间存在错位。

本报告通过构建RAMERG（推理增强的多模态共情响应生成）数据集来应对上述挑战，该数据集包含丰富的高层推理标注。此外，我们提出一种新颖的端到端语音与文本生成框架。与传统流水线方法不同，该框架联合建模语义与声学表征，直接生成连贯的文本与语音波形，从而从输入感知到输出生成保持情感一致性。大量实验表明，所提框架相比基线模型展现出更优的共情能力，同时确保文本与音频生成的高质量。

本报告为未来多模态共情响应生成研究奠定了坚实基础。