面部情绪识别基础知识积累——背景

时间:2024-03-21 19:46:58

1. MIT 媒体实验室的罗莎琳德·皮卡德(Rosalind W. Picard)于 1995 年提出了情感计算(Affective Computing)的概念,并于 1997 年正式出版了《情感计算》一书。在该书中,皮卡德把“情感计算”定义为“与情感有关、由情感引发或者能够影响情感因素的计算”。


([1]R. W. Picard, "Affective Computing", MIT Press, London, England, 1997 )

 情感计算的发展:

1)1981 年, Aaron Sloman 就提出了研究人工情感问题;

2)1985 年,人工智能的奠基人之一, 1969 年图灵奖得主,现任职于MIT媒体实验室的Marvin Minsky提出了计算机与情感的问题。他在《脑智社会》(出版于 1988 年)中提出:问题并不在于智能机器是否能有情感,而在于没有情感的机器怎么能是智能的?

3)1995 年,MIT 媒体实验室的Rosalind W. Picard提出情感计算(Affective Computing)

目的:是赋予计算机感知、理解以及表达感情的能力。

核心:识别情感、分析情感和模拟情感。


2. 情感具有三种成分:主观体验(个体对不同情感状态的自我感受)、外部表现(在情感状态发生时身体各部分的动作量化形式,即表情)和生理唤醒(情感产生的生理反应)。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。 

人类的情绪和情感是由三种组成成分构成的:主观体验、外部表现和生理唤 

醒。其中,生理唤醒指的是情绪和情感引起的人体生理反应,涉及广泛的神经系
统。不同情绪、情感的生理反应模式是不一样的。例如:满意、愉快的时候心跳正常;而恐惧或暴怒时,心跳加速,血压升高,呼吸加快。同时,人类的各种情感还会引起皮质醇水平、心率、血压、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电 EEG 等诸多生理表象的变化。

研究这些表象的意义在于:这些表象基本上是由人体的植物神经控制的,而并非由动物神经控制,也就是说,当你恐惧的时候,你可以装作若无其事,甚至于脸上可以做出一个微笑的表情来掩饰,但是你真实情感引起的受植物神经控制的生理表象基本上是难以掩饰的。

 

3. 当前识别头部运动的方法主要分为两类。

一类是采用运动模板,从视频中提取头部运动模板来识别头部的运动情况。但是这种方法的鲁棒性不是很好,识别率不高;

另外一类,是通过识别并定位眼睛的位置,然后跟踪眼睛的运动情况来识别头部运动形式。然而这类方法,或者使用一些特殊设备,例如红外摄像机,通过画面中的亮瞳效应定位于追踪眼球;或者使用复杂的算法从人脸区域中再次定位并追踪眼睛区域,通过追踪眼睛的运动状况来识别头部的运动。以往研究人员大多只是研究了识别点头与摇头动作, 而并没有提出识别低头和面部侧向一边的方法。 

 

4. 鼻孔是人脸上最易识别、个体差异最小且不会随表情变化而运动的特征点,实验证明,本文提出的方法鲁棒性好,准确率高且计算量小。

5. 在人面部各种器官中,嘴唇在不同表情中的变化最丰富的。 每种基本表情的极限状态中,嘴唇肌肉的动作都不一样。

具体的嘴唇动作定义

面部情绪识别基础知识积累——背景

6. 在人类日常交流中,有 55%的信息是通过面部表情传递的。  


7. 1972 年, 著名学者保罗·艾克曼(Paul Ekman)提出了脸部情感的表达方式(Facial Action Coding System, FACS)。

 FASC受到其他研究者的肯定,很多后续情绪识别研究都是在此基础之上展开的。

基础:人类的面部表情的具体表现形式,是不受年龄、性别、种族、受教育程度等因素的影响的 ;

([2]P. Ekman, W. V. Friesen, J. C. Hager, "Facial Action Coding System",
Research Nexus, a subsidiary of Network Information Research Corporation,
Made in the United States of America, 2002, ISBN 0-931835-01-1 )

 对面部肌肉结构分布图如下:

面部情绪识别基础知识积累——背景


对面部不同位置的具体定义:

面部情绪识别基础知识积累——背景


8. Sophisticated Highspeed Object Recognition Engine(SHORE)

团队:德国弗劳恩霍夫研究所的一个研究成果;

评价:快速、实时、可靠的人脸检测系统  

功能:自动定位视频中的人脸,识别人脸的性别,年龄,眼睛位置以及闭合情况。

      4 种基本表情:happy/sad/angry/suprised;

数据来源:采用4个数据库的数据做不同实验的验证,数据库分别为CMU+MIT,BioID,JAFFE, FERET fafb data set)

后期工作:加入姿态评估功能,情感识别的功能完善。

对于此情绪识别的工具箱的具体了解可以参考网页:https://www.iis.fraunhofer.de/en/ff/sse/ils/tech/shore-facedetection.html点击打开链接

([3]C. Kueblbeck, A. Ernst, "Face detection and tracking in video sequences using the modified census transformation", Journal on Image and Vision Computing, vol. 24, Issue 6, 2006, pp. 564-572.)

 面部情绪识别基础知识积累——背景面部情绪识别基础知识积累——背景

 

9.Computer Expression Recognition Toolbox (CERT)

 

团队:美国加利福尼亚大学,2011(2008)年;

数据来源:FASC表情库; 实时采集;

功能:快速、实时检测面部动作,并进行编码;

  检测头部的运动姿态(偏转,抬头低头,左右晃动)

数据库:FACS(面部动作编码系统,Paul Ekman),或者实时采集视频;

应用:检测司机的睡意情况,正确率高达98%;

对于此情绪识别的工具箱的具体了解可以参考以下两篇文章。

([4]Littlewort G, Whitehill J, Wu T, et al. The computer expression recognition toolbox (CERT)[C]//IEEE International Conference on Automatic Face & Gesture Recognition and Workshops. IEEE, 2011:298-305.

[5]Bartlett M, Littlewort G, Wu T, et al. Computer Expression Recognition Toolbox[C]// IEEE International Conference on Automatic Face & Gesture Recognition. IEEE, 2008:1-2.

界面如下:

面部情绪识别基础知识积累——背景


二、存在的问题:

1. 目前大多面部表情研究都是以区分不同表情为目的,实际上,除了表情的种
类以外,表情的程度也是反映人类情感的一个表象。同一表情的不同程度,例如
微笑与大笑、不悦与暴怒,会反映出的具有很大差别的心理活动。而衡量表情程
度目前并没有一些能够得到公认的比较优秀方法。(模糊数学理论尝试)

2. 通过识别并定位眼睛的位置,然后跟踪眼睛的运动情况来识别头部运动形式,计算量大,且以往研究人员大多只是研究了识别点头与摇头动作,而并没有提出识别低头和面部侧向一边的方法。

3. 面部情绪仅能做到基本少类情绪的识别,对于多类识别效果不好。且对于动作的幅度大小没有一个具体的衡量标准。