表情识别研究
表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。面部表情是判断人类情感和人机交互的重要依据.
本研究团队分析表情识别与情感分析的内在联系与区别，指出表情识别侧重于识别面部的表情及情感，总结归纳基于单模态数据集和传统机器学习方法的表情识别技术及其优缺点，指出基于单模态数据的表情识别技术的具有一定的局限性，如：数据集在数量和质量上较为不足，识别准确率普遍不高，多停留在实验室研究阶段等，提出基于多模态数据集的表情识别及模态间融合方法，包含特征级融合、决策级融合及混合融合三种方法，考虑结合姿势、脑电波等生理信号构建多模态数据集，利用 GAN 网络进行数据增强，关注微表情的提取，以及研究多模态融合算法等。
图 1 视觉和非视觉传感器集成到面部表情识别
图 2 多模态特征提取