在模式识别领域,Sun等人[13,14]利用CCA首先从两组变量中抽取低维的典型相关成分,然后在给定的融合策略下求解出相关鉴别矢量集。为了弥补CCA作为无监督学习方法的不足,Sun等人[15]引入监督信息的指导,并利用类内信息进一步给出了广义CCA(Generalized CCA,GCCA)方法。该方法通过最小化类内散布矩阵的约束,极大地降低了类内样本的离散度,从而提高了特征维数较低时的鉴别能力。类似地,他们提出了判别型CCA(Discriminative CCA,DCCA)[16]。然而,由于受到类别数的限制,DCCA 抽取的最大特征维数可能会出现投影轴数不足的问题,这在一定程度上缩小了算法的应用范围。在LDA的思想基础上,Kim等人[17]从利用线性特征抽取压缩了图像集子空间维数,提出了鉴别典型相关(Discriminant-analysis of Canonical Correlation,DCC),并将其应用在图像集分类中,该方法在实际应用中获得了满意的分类效果。
受核方法的启发,Sun等人[18]提出了核DCCA(Kernelized DCCA,KDCCA)。随后,Peng等人[19]基于局部化的思想提出了局部鉴别CCA(Local Discriminative CCA,LDCCA),并在人脸与手写体数字图像识别中获得了成功地应用。尽管LPCCA能够发现数据间的非线性结构,但由于其缺少监督信息,在模式分类中很难获得较好的识别性能。为了解决这个问题,监督LPCCA(Supervised LPCCA,SLPCCA)[20]已经被提出,SLPCCA相对于LPCCA而言能取得更好的分类效果。Lykou等人[21]与Hardoon等人[22]在稀疏学习的概念上,提出了稀疏CCA[23](Sparse CCA,SCCA)。
目前有许多研究旨于揭示CCA与LDA方法在某些特别情形下的等价性。Barlett[24]首先对CA与LDA的内在联系进行了研究,并在某些类标签编码(如one-of-c)下第一次发现它们的等价性。之后,Yamada等人[25]在多分类问题中验证了在将类标签编码作为第二组表示时,CCA等价于LDA及KCCA等价于KFDA。由于CCA等价于LDA,这意着在CCA被用于单表示数据的特征抽取时,其性能将很难超越LDA。基于模糊k近邻,Sun等人[26]提出了一种被称为“软标号”的样本编码方式,来突破这种等价性。较之于LDA,该方法在抽取更具鉴别力的特征的同时,还能在一定程度上体现样本数据的分布信息。
此外,Yuan等人[27]基于利用广义相关系数,定义了多组变量间整体相关性的判别准则,在此基础上,构建了一种多重集整体典型相关分析(MICCA)理论框架。之后,基于分数阶[28]及基于稀疏表示[29]的多重集典型相关分析也被提出。Qiu等人[30]通过将样本划分为若干小样本,形成若干个特征数量集,再利用多重集典型相关分析对样本进行特征提取,提出了集成学习的多重集典型相关分析。
1.3 本文主要内容及工作安排
本文主要对典型相关分析进行了研究与改进,并在人脸数据库的实验上验证了本文所提出的改进算法的有效性。本论文分五章,具体安排如下:
第一章:绪论。简述了课题研究背景,同时介绍了典型相关分析的研究与发展,最后介绍了本论文的研究内容和组织结构。
第二章:典型相关分析及核典型相关分析的基本理论,通过在人脸图像上的实验验证了核典型相关分析的有效性。
第三章:核广义典型相关分析,在研究核CCA和广义CCA的基础上提出了核广义CCA的模型。通过数学推导对模型进行了求解,并通过实验证明其有效性。
第四章:基于旋转变换的典型相关分析(HCCA),本章通过对相关系数几何意义的研究,提出了基于旋转变换的典型相关分析理论。人脸数据库的实验证明该算法具有较好的识别率及稳定性。
第五章:结论。总结概括全文内容,并指出本文算法需改进的方向。