近日，北京师范大学心理学部认知神经科学与学习国家重点实验室暨IDG/麦戈文脑科学研究院秦绍正团队，联合北京理工大学、天津师范大学、清华大学等单位，在国际权威期刊《Pattern Recognition》发表最新研究成果。该研究提出对话情感预测（Affect Prediction in Conversations, APC）任务（图1），并构建中文多模态动态人格与情感数据集 CMDPAD，为情感交互智能体研究提供了全新范式与关键数据支撑。
图1. 情感预测任务的提出
情感作为人类社会行为的核心组成部分，在人际协调、关系建立与沟通适应中发挥关键作用。当前对话式AI虽已能够生成带有情感反应的自然语言回应，但仍缺乏量化评估其情感调节效果的有效方法，与此同时，面向社会互动场景、兼顾动态人格与情感演化的高质量中文数据集长期处于空白状态，制约了更主动、更共情、更具社交智能的人机交互系统发展。
当前情感计算领域虽已存在多个公开的人格情感数据集，但普遍存在显著局限：绝大多数数据集仅聚焦于说话人的情感识别，难以评估情感调节的实际效果；且往往将人格视为静态稳定的特质，仅在角色或对话层级进行一次性标注，无法刻画对话过程中人格状态的动态变化（表1）。
表1. 多模态人格情感数据集比较
为解决上述问题，研究团队基于心理学理论，创新性地提出了对话情感预测（APC）任务。该任务的核心目标是基于对话历史信息，预测聆听者在接收当前话语后即将产生的情感状态。在此基础上，团队构建了中文多模态动态人格与情感数据集CMDPAD。该数据集取材于60部热门爱情剧，筛选出180段双人对话，经过严格的预处理与专家校验，最终获得涵盖183个角色的3906条有效话语（图2），包含文本、音频、视频三模态的高质量信号。
图2. 生态化对话材料遴选
CMDPAD不仅包含话语级情感识别标注，更实现了两大核心创新（图3 & 表 1）：
1. 话语级人格识别标注：采用连续滑动量表，对大五人格特质（开放性、责任心、外倾性、宜人性、神经质）进行分别评分。
2. 话语级情感预测标注：采用心理学前沿的动态情感网格（DAG），基于效价–唤醒度二维模型实现对情感的精细化标注。
为保证标注质量，团队使用PsychoPy搭建了专业标注平台，并通过被试内离散度调整（WDA）校正标注偏差，有效提升了数据的可比性与稳定性。
图3. CMDPAD数据标注范式说明
数据集分析结果显示：在人格标注中，开放性、外向性、宜人性及尽责性的评分普遍偏高，而神经质评分偏低；情感效价整体以积极为主，唤醒度高于中性水平。这些特征符合爱情剧亲密互动场景的设定（图4 & 图5）。
图4. 情感标注分布
图5. 人格标注分布
此外，情感识别与预测标注之间存在高度相关性，人格与情感标注之间也呈现出稳定关联，为后续情感预测模型的构建提供了心理学依据（图6 & 图7）。
图6. 情感识别结果与预测标注之间的相关性
图7. 人格与情感标注之间的相关性
研究团队进一步基于多模态注意力Transformer（MAT）框架开展了基准实验，分别执行情感识别、人格识别及情感预测三项任务。实验结果表明：多模态融合模型的性能显著优于单模态模型；同时，融合情感与人格状态的上下文信息，能显著提升对话情感预测的准确性（表2）。
表2. 基于单轮和对话的情绪预测模型表现对比
综上所述，CMDPAD填补了情感预测研究领域的关键空白，为情感计算提供了宝贵的资源。该研究成果深化了对“人格特质如何影响社会互动中情感反应”的理解，为构建更积极主动、更具情商的人机交互系统铺平了道路。目前，相关数据集与代码已公开共享（https://github.com/HensonXie/CMDPAD）。
未来，团队将在现有数据集基础上持续推进更深入的情感计算研究，同时进一步扩展数据集规模与多样性，覆盖家庭、朋友、职场等多元交互场景，并构建多语言版本，以支持情感交互智能体在更加真实、复杂且多样化的人机交互环境中的研究、部署与实际应用。
本研究受到国家自然科学基金项目（32130045和32361163611）的支持。秦绍正课题组博士生周子森、北京理工大学博士生解衡、北京师范大学本科生温畅为论文共同第一作者，天津师范大学柳雪飞副研究员、清华大学陶建华教授和温正棋副研究员、北京师范大学熊炳森实验师和秦绍正教授为共同通讯作者。
论文链接：https://authors.elsevier.com/a/1n0bf77nKv%7En7
论文信息：Zhou, Z., Xie, H., Wen, C., Liu, X., Tao, J., Wen, Z., ... & Qin, S. (2026). CMDPAD: A Chinese multimodal dynamic personality and affect dataset for affect prediction in conversations. Pattern Recognition, 113822. doi:10.1016/j.patcog.2026.113822
