3.1  广义典型相关分析的基本理论 17

3.2  核广义典型相关分析模型及算法实现 19

3.3  实验分析 21

3.4  本章小结 24

4 基于旋转变换的典型相关分析 25

4.1  基于旋转变换的典型相关理论 25

4.2  算法设计与分析 27

4.3  HCCA的几何解释 29

4.4  实验分析 32

4.5  本章小结 34

结  论 35

致  谢 36

参考文献 37

附录A  已投稿论文网 40

附录B  参与课题研究情况 41

1  绪论

1.1  课题研究背景

在数字信息及网络通讯技术的飞速发展的时代，如何有效处理并利用海量信息成为至关重要的问题。利用模式识别技术可对文字、图像、语音、视频等信息进行智能识别。在模式识别中，如何抽取有效的特征，删除冗余或不相关信息，并利用有效的鉴别特征完成分类，是完成识别任务的关键。

特征抽取的本质是在尽量保持原始数据所含有的有效信息前提下，寻找一组线性或非线性变换，将高维空间中的原始数据压缩到一个低维子空间中，从而方便对数据做进一步地处理。传统的特征抽取方法主要针对模式的一组特征进行处理。然而，相同的模式必定会有许多相异的特征表示方式，而且对于同一模式来说，不同的特征也体现了物体不同的特性。因此，如何有效地利用同一模式的不同特征间的互补信息，提取出稳健的特征表示方式，以增强特征的表示和鉴别能力，对于模式分类问题而言具有十分重要的研究意义[1]。

典型相关分析(Canonical Correlation Analysis, CCA)[2]、多元线性回归分析(Multiple Linear Regression, MLR)[3]、偏最小二乘分析偏(Partial Least Squares, PLS)[4]是常用的研究两组数据之间关系的多元统计方法。其中，多元线性回归分析应用最为广泛，在诸多领域都被成功地应用；偏最小二乘回归分析是一种新型的多元数据处理方法，现已成为多特征融合技术的重要内容之一[5,6]。由于CCA基于两组及多组数据之间的相关关系进行研究，所以一般被称为相关投影分析。近十年来，CCA 逐渐应用于模式识别、计算机视觉及信号处理等领域，并取得了良好的发展成果[1,7,8]。

本文在实现CCA的基础上，重点研究了CCA的改进算法。首先，本文对CCA的基本理论进行了数学推导，并基于CCA研究了核典型相关分析(KCCA)的理论。考虑广义典型相关分析(GCCA)在非线性高维空间的局限性，本文提出核广义典型相关分析的模型，并对其进行了求解。最后，基于广义相关系数的几何意义，本文提出一种基于坐标变换的典型相关分析方法(HCCA)，该方法不仅能提高识别准确率，还表现出较好的稳定性。

1.2  典型相关分析的研究与发展

1936年，H. Hotelling[9]首先提出了典型相关分析技术。目前，CCA已成为国内外研究热点之一。在多维信号处理与学习方面，Borga[10]基于Rayleigh商和广义特征值问题建立了PCA与CCA、偏最小二乘及多元线性回归的统一模型；Sargm等人[11]将CCA用于语音识别，并取得了显著的效果；Bruguier等人[12]利用CCA集成分析了医学中人脑行为的fMRI数据，促进了医学影像处理的发展。除此之外，CCA还被用于心理学、市场营销以及图像检索等等。