未来智讯 > 人脸语音识别论文 > 时间尺度自适应人脸表情识别

时间尺度自适应人脸表情识别

发布时间:2018-12-01 01:06:04 文章来源:未来智讯    
    时间尺度自适应人脸表情识别作者:未知   摘 要:当前隐马尔科夫模型表情识别中一般选取固定状态数及间隔,与真实表情状态之间往往是失配的,无法适应不同时间尺度上的表情。文章分析面部运动自动确定表情的起止帧,自动提取有代表性帧作为HMM的状态,使不同节奏的表情状态都能正确定位到对应的图像帧,提高了模型的有效性。试验结果证明,该方法获得的HMM模型状态更适合主观认识,识别速度有所提高,识别正确性也有明显提高。
  关键词:表情识别;表情边界检测;表情状态帧;隐马尔可夫模型
  1 概括
  人脸表情识别方法能够分为两大类:一是静态表情识别方法,一是基于动态视频序列的表情识别。两种识别方法都必须经过三个过程,即人脸检测,特征提取,表情识别。人脸检测技能已基本成熟,如基于哈尔特征检测[1]的方法。隐形马尔科夫(HMM)[2]因具偶尔空域动态性被广泛认可。用HMM识别要确定状态数,并将图像序列与状态数对应。传统方法采取平均方式,输入视频按时间顺序均分成N个序列,按时间序列与状态对应。由于表情时间上尺度差异明显,因而不能体现出表情阶段的不同特征。文章根据面部运动能量变化确定表情起止帧,即表情变化区间。再通过变化规律统计分析确定表情对应的不同状态,建立更加适合真实表情的HMM模型。
  2 系统设计
  最初要确定每种表情对应的状态数;然后确定每种状态对应于视频序列的哪一帧或哪几帧图像,即图像序列中状态点的确定;三是选择什么样的属性作为状态的特征向量。另外,还要确定每个表情起初和结束时间。围绕这几个问题,整个识别系统设计如下。最初,选取自适应布斯特算法实现人脸检测。接着利用Haar滤波器确定眼睛位置,并用特征投影法确定眉毛和嘴巴区域,再利用角点检测方法确定最重要特征点。这些特征点能反映表情变化强度,又易于跟踪。特征点运动情况反映表情变化程度,分析特征点运动能量变化曲线,可确定表情状态数、每表情起止帧及每表情状态对应图像帧。最终对每个表情状态提取几何特征进行HMM模型的训练与识别。
  3 运动能量曲线
  检测出眼睛中心点的位置坐标,进行图像抖动对光流矢量的误差矫正。确定脸部表情变化关键点,得到坐标变化,计算出运动能量变化,将所有特征点的运动能量做加权平均,得到运动能量曲线。通过分析该曲线,就能够定位表情状态及其对应的图像帧,如图1所示。
  从图1中能够看出表情变化趋势,有的在前半阶段发生明显改变,足够判断表情类别;有的则在后半段发生明显变化;大多数则发生在中间。
  4 状态数及状态图像帧的提取
  接下来再分辨对眉毛和嘴巴附近的特征角点,分辨作能量图,和图1类似,以观察眉毛及嘴巴附近特征角点变化情况。通过分析角点能量图可得知:表情从中性逐步发生变化时,最先起初的人脸部位是嘴巴附近,其次眉毛等部位紧随其后起初发生形变,直至表情达到最饱满时刻。根据分析将表情变化过程分为五个阶段:中性表情、嘴巴变化、总体变化、眉毛变化、表情最大化。通过对角点能量曲线的分析,提取曲线峰、谷对应的位置,即可确定HMM模型的五个表情状态对应的图像帧。以高兴表情为例,视频总共28帧,其中5个状态帧分辨是2、6、8、10、20。
  5 模型训练与表情识别
  共选用5个参数:D1~D5是双眼、嘴角之间的距离,此外还有左、下嘴角角度,以及嘴巴宽度高比。过程如下:(1)样本归一化,得特征向量Oi= ,1?燮i?燮5。(2)初始化HMM参数?姿,求Oi均值uj和方差矩阵?撞j。(3)用前向后向算法得到模型几率P(O|?姿)。(4)重估HMM参数,及新模型下的几率P(O|?姿')。P(O| )收敛时中断。(5)将新测试序列输入系统,求出每种模型的几率,几率最大对应模型对应识别出的人脸表情。
  6 实验结果
  选取USTC-NVIE数据库,其自发表情是通过视频诱发的方式采集的,更加接近自然表情,数据库中含有佩戴眼镜和无眼镜两种,这里选择不佩戴眼镜的视频作为训练样本和测试样本。本实验中一共选取了42个视频作为训练样本。文章方法比传统HMM方法对惊奇、悲伤、恐惧、厌恶、愤怒、高兴的识别正确率分辨提高了13.2%、6.67%、21%、8.7%、6.67%和9.43%。
  参考文献
  [1]D. H. Kim, S. U. Jung and M. J. Chung,"Extension of cascaded simple feature based face detection to facial expression recognition,"Pattern Recognition Letters,vol.29,pp. 1621-1631,August 2008.
  [2]Otsuka T,Ohya J. Recognizing multiple persons' facial expressions using HMM based on automatic extraction of significant frames from image sequences [C] // Proc. Int. Conf. on Image Processing (ICIP-97),p546-549, Sabta BarbaramCA,USA,1997:26-29.
  [3]张发光,赵晖.基于扩展C型HMM人脸表情识别[J].计算机应用与软件,2011,4:60-62.
转载请注明来源。原文地址:https://www.7428.cn/page/2018/1201/49641/
 与本篇相关的热门内容: