The Interactive Emotional Dyadic Motion Capture (IEMOCAP)
#评测指标-WAR UAR
适配方法：
线性分类器（Linear Classifier），上游模型输出的特征先经过全局平均池化层进行特征提取，再输入包含一层线性全连接层的线性分类器中。线性分类器输入维度与特征向量的维度相等，输出维度与类别数相等。
数据描述：
交互式情感动态捕捉（IEMOCAP）数据库是一个有表演的、多模态的和多说话者的情感数据库。它包含了大约12小时的视听数据，包括视频、语音、面部动作捕捉、文本转录。它包括演员进行即兴表演或脚本情景的对谈会话。
数据集构成和规范：
源数据量：
数据集分成中立(1708)，生气(1103)，伤心(1084)，高兴（595），兴奋（1041），害怕（40），惊讶（107），沮丧（1849），其它（2507）
评测数据量:
评测数据为源数据集中的5531个实例（中立、生气、伤心、高兴），其中将兴奋类和高兴类的样本合并
源数据字段:
| KEYS | EXPLAIN |
|---|---|
| id | 数据 id |
| sentence | 说话内容 |
| label | 情感标签 |
源数据集样例：
{
"id": Ses01F_impro01_F000,
"sentence": "Excuse me.",
"label": "neu"
}论文引用：
@article{busso2008iemocap,
title={IEMOCAP: Interactive emotional dyadic motion capture database},
author={Busso, Carlos and Bulut, Murtaza and Lee, Chi-Chun and Kazemzadeh, Abe and Mower, Emily and Kim, Samuel and Chang, Jeannette N and Lee, Sungbok and Narayanan, Shrikanth S},
journal={Language resources and evaluation},
volume={42},
pages={335--359},
year={2008},
publisher={Springer}
}源数据集版权使用说明：
MSP-IMPROV
#评测指标-ACC
数据描述：
MSP-IMPROV数据库是一个有表演的、多模态的和多说话者的情感数据库。它的构建类似于 IEMOCAP 数据集，但有 12 个演员和 6 个会话。
数据集构成和规范：
评测数据量:
评测数据为源数据集中的7798个实例（中立、生气、伤心、高兴）
源数据字段:
| KEYS | EXPLAIN |
|---|---|
| id | 数据 id |
| sentence | 说话内容 |
| label | 情感标签 |
源数据集样例：
{
"id": MSP-IMPROV-S01A-F01-P-FM01,
"sentence": "I have to go to class. How can I not? Okay.",
"label": "ang"
}论文引用：
@article{busso2016msp,
title={MSP-IMPROV: An acted corpus of dyadic interactions to study emotion perception},
author={Busso, Carlos and Parthasarathy, Srinivas and Burmania, Alec and AbdelWahab, Mohammed and Sadoughi, Najmeh and Provost, Emily Mower},
journal={IEEE Transactions on Affective Computing},
volume={8},
number={1},
pages={67--80},
year={2016},
publisher={IEEE}
}源数据集版权使用说明：
EmotionTalk
#评测指标-WAR UAR
数据描述
EmotionTalk 是南开大学发布的一个具有丰富注释的交互式中文多模态情感数据集。该数据集提供19位演员在双人对话场景中的多模态信息，涵盖声学、视觉和文本模态。包含23.6小时语音数据（19,250条语料），标注内容涵盖：- 7类语料级情绪分类（快乐、惊讶、悲伤、厌恶、愤怒、恐惧、中性）- 5维情感标签（负面、弱负面、中性、弱正面、正面）- 4维语音描述（说话者、说话风格、情绪及整体特征）。
数据集构成和规范
源数据量
训练集15413, 验证集1908，测试集1929
评测数据量
评测数据量为公开的测试集，共1929条句子
数据字段
包括视频、音频和句子转录文本，情感离散/连续/描述标注
data/
├── audio/*.tar
├── Text/*.tar
├── Video/*.tar
└── Multimodal/*.tar数据集样例
{
"data": {
"A": {
"emotion": "happy",
"Confidence_degree": "9",
"Continuous_label": 1
},
"B": {
"emotion": "happy",
"Confidence_degree": "9",
"Continuous_label": 0
},
"C": {
"emotion": "happy",
"Confidence_degree": "9",
"Continuous_label": 1
},
"D": {
"emotion": "happy",
"Confidence_degree": "9",
"Continuous_label": 1
},
"E": {
"emotion": "happy",
"Confidence_degree": "7",
"Continuous_label": 1
}
},
"speaker_id": "07",
"emotion_result": "happy",
"content": "哎，发现我有什么变化没有？",
"Continuous label_result": 0.8,
"file_name": "G00002/G00002_01/G00002_01_07/G00002_01_07_001.mp4"
}论文引用
@article{sun2025emotiontalk,
title={EmotionTalk: An Interactive Chinese Multimodal Emotion Dataset With Rich Annotations},
author={Sun, Haoqin and Wang, Xuechen and Zhao, Jinghua and Zhao, Shiwan and Zhou, Jiaming and Wang, Hui and He, Jiabei and Kong, Aobo and Yang, Xi and Wang, Yequan and others},
journal={arXiv preprint arXiv:2505.23018},
year={2025}
}开源协议
CC BY-NC-SA 4.0 license