未来智讯 > 人脸语音识别论文 > 人脸表情识别综述

人脸表情识别综述

发布时间:2018-12-02 01:06:04 文章来源:未来智讯    
    人脸表情识别综述作者: 孙蔚 王波   摘要:人际交往中,面部表情为人们相互间的交流提供了一种重要的渠道,人们通过面部丰富微小的变化,能表达各种各样的表情。该文综合介绍了人脸表情识别的研讨背景和国内外现状,并且罗列出了和表情识别相关的一些重要国际会议,归纳了近十年来国内外研讨学者在表情识别领域提出的各自创新的研讨方法,最终提出在表情识别研讨中仍然存在的问题和不足。
  关键词:表情识别;研讨方法;创新;不足
  中图分类号:TP18文献标识码:A文章编号:1009-3044(2012)01-0106-03
  A Survey of Facial Expression Recognition
  SUN Wei1,2, WANG Bo1
  (1.Information Science of Nanjing College for Population Program Management, Nanjing, 210042, China; 2.College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)
  Abstract: Facial expression is a key to nonverbal communication, which has been confirmed by many different research projects. A change in intensity or magnitude of even one specific facial expression can cause different interpretations. In this paper, the background of facial expression recognition reaches and the study of the current situation at home and abroad are introduced Then those important international meetings and those novel reaches in this area are listed. At the end of this paper the limits in facial expression recognition are pointed out.
  Key words: Facial expression recognition; Research methods; Innovation; Limits
  人脸表情是人们辨别情感的主要标志。人际交往中,面部表情为人们相互间的交流提供了一种非语言沟通的重要渠道,人们通过面部丰富微小的变化,能表达各种各样的表情,并且表情偶尔甚至比语言更能显示情感的真实性。
  人脸表情识别是指通过计算机来计算分析人的脸部表情及变化,判定其内心情绪或思维活动,从而获得更加智能化的人机交互环境。在模式识别领域中表情识别是一个相当具有挑战性的课题,它在心理学、远程教育、平安驾驶、公共监控、测谎技能、电脑游戏、临床医学、精神病理分析等方面都有着广泛的应用。
  1研讨背景及现状
  早在20世纪70年代,有关于人脸表情识别的研讨就已经展开,然而早期主要集中在心理学和生物学方面。随着计算机技能的发展,人脸表情识别技能逐步发展起来,到上个世纪90年代该领域的研讨已经变得相当活跃。大量的文献资料显示表情识别已经从原来的二维图像走向了三维数据研讨,从静态图像识别研讨转向实时视频跟踪。
  国内开展该项目研讨的单位主要有:清华大学、北京科技大学、中国科学院、南京理工大学、中国科学技能大学、浙江大学、东南大学、南京大学、北京航空航天大学、西南交通大学、大连理工大学、天津大学、湖南大学等。国外较为著名的研讨机构有麻省理工学院、卡内基梅隆大学、匹兹堡大学、马里兰大学、加利福尼亚大学、代尔夫特理工大学等。
  国际上关于人脸或表情识别方面的国际会议中影响对照大的有:
  CVPR:计算机视觉与模式识别会议(International Conference on Computer Vision and Pattern Recognition)
  FGR:人脸与姿态自动识别国际会议(International Conference Automatic Face and Gesture Recognition)
  ICPR:模式识别国际会议(International Conference on Pattern Recognition)
  ICCV:IEEE计算机视觉国际会议(IEEE International Conference on Computer Vision)
  SIGGRAPH:计算机图形和交互技能国际会议(International Conference on Computer Graphics and Interactive Techniques)
  ECCV:欧洲计算机视觉会议(European Conference on Computer Vision)
  ICMI:多模式接口国际会议(International Conference on Multimodal Interfaces)
  ACCV:亚洲计算机视觉会议(Asian Conference on Computer Vision)。
  VISAPP:计算机视觉理论与应用国际会议(International Conference on Computer Vision Theory and Applications)。
  ACII:情感计算及智能交互国际会议(International Conference on Affective Computing and Intelligent Interaction)
  ICBA:国际生物特征识别国际会议(International Conference on Biometric Authentication)
  2研讨内容
  人脸表情识别(Facial Expression Recognition,FER)主要包括三个技能环节(如图1所示):最初是人脸的检测与定位,然后进行表情特征提取和识别,即从输入的图像中检测和定位人脸,然后再提取出对表情识别有用的信息并进行分类识别。
  
  图1人脸表情识别系统
  2.1人脸检测与定位
  近十年来人脸检测得到了广泛的关注,并且取得了长足的发展和一定的成果。国内外很多学者提出了不少方法,现有的人脸检测技能方法,从不同的角度能够有多种分类方式。根据利用人脸知识的不同,现有的人脸检测方法能够分为基于特征的方法(Fea? ture-based Method)和基于图像的方法(Image-based Method)两大类[2, 3]。目前基于特征方法对照成熟,常用的有基于肤色特征[4,5]、模板匹配[6]等方法;基于图像的人脸检测方法主要有主成分分析法(Principal Component Analysis,PCA)[7]、人工神经网络(Artificial Neural Network Approach,ANNA)[8]方法、隐马尔可夫模型(Hidden Markov Models,HMM)[9]方法、支持向量机(Support Vector Machines,SVM)[10]方法和AdaBoost方法。
  2.2特征提取
  表情特征的提取方法分为基于运动与基于形变的两类[11]。其中运动是指表情发生时面部特征随时间的变化,而形变则是指有表情的脸相对于中性表情脸的差异。运动特征提取方法代表性的包括光流法[12]、运动模型、特征点跟踪方法等。面部特征的形变能够由形状和纹理两方面来描述,又能够分为基于模型的方法和基于图像的方法两类。其中基于模型的方法有活动外观模型(AAM)
  [13]、点分布模型(PDM)[14]等;基于图像的方法有Gabor变换[15]、主成分分析(PCA)[16]等。
  2.3表情分类
  用于表情分类的方法能够分为时空域方法和空域方法两类[17]。其中时空域方法包括隐马尔可夫模型方法、回归神经网络方法、空时运动能量模板方法等;空域方法包括神经网络方法、支持向量机方法、AdaBoost方法、基于准则推理的方法、主成分分析、独立分量分析、Fisher线性判别分析等。
  3存在问题
  只管在当前表情识别领域的研讨中很多核心环节上已经取得了一定的成果如人脸检测,特征提取,情感分类等,然而该领域仍然存在以下问题:
  1)缺乏对于自发表情识别方面的研讨
  人为表情识别和自发表情识别之间存在巨大的差异度,而目前大多数人脸表情识别都是对来自于现有的表情数据库(即人为表情)进行分析和识别,并非是对自然人的实时表情(即自发表情)。现有表情库里面的表情都是一些单一的对照夸张的表情,现实生活中人们的表情往往是混合的,强度也是深浅不一,因此需要加强对于混和表情以及表情强度方面的研讨。
  2)对于表情的标定还没有一个精细的标准
  人类的表情能够说是多姿多彩、千变万化的,然而目前,包括FACS在内的现有人脸表情识别系统仅能做到大略的基本表情识别,因为很多现有的表情库中并没有具体的标定每一个表情该有的尺度。因此,今后的一个研讨重点应该是加强人脸表情的视觉认知加工等认知心理学的基础研讨,从而建立其更加精细的人脸表情描述标准,教导计算机进行人脸表情的精细识别。
  3)需要提高表情识别的鲁棒性
  个体表情对象研讨时很多外部因素如:光照、肤色、姿势以及是否有遮挡物等都会对面部表情识别产生一定的影响,然而当前大多数的研讨都是针对特定条件下的表情模式,实际上这些因素都影响到了表情识别的实用化,导致了表情识别的鲁棒性不强。因此,惟有综合考虑人脸的表情、光照、噪声、附属物等影响并且使用恰当的判决模型才能较好地解决这个问题。
  4)缺乏实用性的应用系统
  人脸表情识别潜在应用十分广泛,然而实用性系统却很少,已知的有数码相机自动捕捉笑脸系统、驾驶员疲劳监测系统、微表情识别系统等。我们在开展人脸表情识别的基础理论研讨同时,也应该联合工程应用需求,同时强化其在工程上的应用。
  4归纳
  人的内心是丰富的,丰富的内心造就了人类丰富的表情,有些表情之间的差别本身也不是很明显,纵使自然人尚且不能精确的判断出每一个表情及其程度,更何况由人设计出的经验识别算法。虽然一些经典的识别方法已经取得了不错的识别率,但都是基于一定条件下的几种方法的综合,因此到目前为止仍然没人可以提出一种复杂如人脑的计算方法去让机器识别人脸的表情。
  基于二维图像的人脸表情识别,由于维度的限制,不能提供识别对象的完整信息,而且它还受到环境和人脸表情图像本身因素
  的影响,因此识别精度很难进一步的提高。三维图像在信息的完整度上避免了这样的缺陷,而且削减了外部光照和姿态变化的影响。因此,利用三维信息进行表情识别将是一个具有挑战性的研讨课题。
  参考文献:
  [1]金辉,高文.人脸面部混合表情识别系统[J].计算机学报,2000,23(6):602-608.
  [2]梁路宏,艾海舟,徐光�,等.人脸检测研讨综述[J].计算机学报,2002,25(05):449-458
  [3]文沁,汪增福.基于三维数据的人脸表情识别[J].计算机仿真,2005,22(7):99-103.
  [4] Chen D S,Liu Z K.A Survey of Skin Color Detection[J].Chinese Journal of Computers,2006,29(2):194-207.
  [5] Hsu R.L, Abdel-Mottaleb M, Jain A.K. Face detection in color images[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2002,24(5): 696-706.
  [6] Yullie A, Hallinan P,Cohen D. Feature extraction from faces using deformable templates[J].International Journal of Computer Vision,1992, 8(2):99-111.
  [7] Turk M, Pent land A. Eigen faces for Recognition[J].Cognitive Neuro-science, 1991, 3(1):71-86.
  [8] Rowley H.A, Baluja S, Kanade T. Neural Network-Based Face Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998:20(1):23-38.
  [9] Nefian A, Hayes M. Hidden Markov Models for Face Recognition[A].IEEE International Conference on Acoustics, Speech and Signals Pro? cessing[C].Seattle, Washington, 1998:2721-2724.
  [10]马勇,丁晓青.基于层次型支撑向量机的人脸检测[J].清华大学学报:自然科学版,2003,43(1):35-38.
  [11] Hongcheng Wang, Ahuja N. Facial expression decomposition[A]. In: Proceedings of International Conference on Computer Vision[C], Nice,France,2003:958�965.
  [12] Yacoob Y, DavisL. Recognizing human facial expressions from long image sequences using optic flow [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996,18(6): 636-642.
  [13] Tang F Q, Deng B.Facial expression recognition using AAM and local facial features [A].In: Proceedings of the Third International Conference on Natural Computation [C], Haikou, China, 2007:632-635.
  [14] Hammal Z, Couvreur L, Caplier A,et al. Facial expression classification: an approach based on the fusion of facial deformations using the transferable belief model[J].International Journal of Approximate Reasoning, 2007,46(3): 542-567.
  [15] Yu JG, Bhanu B. Evolutionary feature synthesis for facial expression recognition [ J].Pattern Recognition Letters, 2006,27( 11 ): 1289-1298.
  [16] Kotsia I, Zafeiriou S, Pitas L. Texture and shape information fusion for facial expression and facial action unit recognition [ J].Pattern Recognition, 2008,41(3): 833-851.
  [17]薛雨丽,毛峡.人机交互中的人脸表情识别研讨进展[J].中国图象图形学报,2009,14(5):764-772.
转载请注明来源。原文地址:https://www.7428.cn/page/2018/1202/50100/
 与本篇相关的热门内容: