本文的组织结构如下:第二部分介绍部分传统算法,如:LDA、LPP、CMVM和MMDA,第三部分对本文新提出的算法进行详细介绍并将其与第二部分提到的算法进行比较,第四部分则展示了该五个算法基于AR[23]、CMU PIE[24]人脸数据集以及红外夜视图像数据集[25]进行的实验的结果并将结果对比分析,最后则是对本文提出的算法进行总结并展望未来要进行的工作。
2 现有部分算法简介
在实验部分,本文将本文算法(APLPP)与LDA、LPP、CMVM和MMDA进行了性能比较。因此,现对LDA、LPP、CMVM和MMDA这四个算法进行简单介绍。
2。1 LDA算法简介
线性判别式分析(Linear Discriminant Analysis, LDA)[6,7,8],又称为Fisher线性判别(Fisher Linear Discriminant ,FLD),是模式识别的经典算法。LDA的基本思想是为实现分类信息的抽取以及特征空间维数的压缩,将高维样本投影到最佳鉴别矢量空间内,投影后使得在新子空间内样本的类间距离最大并且类内距离最小,即样本在该空间中有最佳的可分离性。因此,它是一种有效的特征抽取算法,能同时使投影后样本拥有最大的类间散布矩阵和最小的类内散布矩阵。
如果一个空间有m个样本,它们分别为,即每个X矩阵有n行,其中表示i类的样本数,若共c类,则。
类i的样本均值为:(1)
同理得总体样本均值为:
由类间离散度矩阵以及类内离散度矩阵的定义可得式(3)和(4):
引入Fisher鉴别准则表达式:
其中为任一n维列矢量。
把公式(3)和公式(4)代入公式(5)得:
由公式(6)可知,分类问题可以变为找一个低维空间,以使样本投影到该空间下的时候,投影后得到的类间距离与类内距离各自的平方和的比值达到最大,即实现最佳的分类。
最优化上式可找到一组由最佳鉴别矢量组成的投影矩阵,其式如下:文献综述
当为非奇异时,最佳投影矩阵的列向量正好是式(8)所示的广义特征方程求得的d个(d值自取)最大特征值对应的特征向量,其中:
2。2 LPP算法简介
局部保留映射(Locality preserving projections,LPP)[15,16,21]是一种广泛使用的特征提取和降维方法,其目标是为使得目标函数达到最小,保持原始数据流形的局部结构的同时最优化投影方向。其计算过程首先是计算任意两点之间的欧式距离,然后依据距离建立权重矩阵WLPP,最后求解出最优投影矩阵A,完成计算过程。
若样本为 ,共有c类,每类的样本数为ni,其中 ,特征提取后对应的样本为,最优投影矩阵为A,即Y=AT*X。
目标函数如下:
其中为权重矩阵,具体定义见参考文献15,本文测试时采用的是(a)方式。
上述目标函数可以通过求特征值来得到投影矩阵,如公式(11)所示:
(11)
将求得的特征值λ按照升序的方式排列,即,取前d个(d值自取)最小的特征值λ,其对应的特征向量就是所求的最佳投影矩阵A。
2。3 CMVM算法简介
假设样本为 ,共有c类,每类的样本数为ni,其中,特征提取后对应的样本为,最优投影矩阵为A,即Y=AT*X。
对于CMVM[17,18]首先是建立类内权重矩阵,这个过程与LPP的方法完全一致,然后再依据类别信息来建立类间权重矩阵,建立类间权重矩阵的过程如公式(12)所示:
由此可以得到CMVM的目标函数即在最大化的同时最小化,和表达式如公式(13)和公式(14)所示:
与LPP类似,CMVM同样使用求特征值的方法来求最优投影矩阵,即求公式(15)的特征值。