在进行理论分析时，获得一批数据之后，可以一次求得相应的参数估计值，这种处理问题的方法就称作一次完成算法或批处理算法。这在理论研究方面有许多方便之处，但在计算方面要碰到矩阵求逆的困难，当矩阵的维数增加时，矩阵求逆运算的计算量将急剧增加，这会给计算速度和储存带来负担。为了解决一次算法的各种问题，可以将其化成递推算法。论文网

依观测次序的递推算法就是每获得一次新的观测数据就修正一次参数估计值，随着时间的推移，便能获得满意的辨识结果[15]。递推辨识算法具有无矩阵求逆，以及跟踪时变系统等特点，这样不仅可以减少计算量和储存量，而且能实现在线辨识。随着数据量的增长，递推的最小二乘法将出现所谓的“数据饱和”现象。这是由于随着时间的推移，采集的数据越来越多，新数据提供的信息被旧数据所淹没。如果便是算法对新、旧数据给予相同的信度，那么随着从新数据中获得的信息量相对下降，算法就会慢慢失去修正能力。为了克服数据饱和现象，可以用降低旧数据影响的办法来修改算法。主要有渐消记忆法(遗忘因子法)、限定记忆法、震荡记忆法。

在研究最小二乘估计的统计性质，发现当系统的噪声满足白噪声的性质时，参数估计值是无偏一致的最小方差估计。但是一般情况下，系统的噪声都不是白噪声，为了获得好的估计效果，可以考虑使用增广最小二乘法、广义最小二乘法、辅助变量法和相关二步法等参数辨识方法。每种辨识方法都对应着一种特定的噪声模型结构。

增广最小二乘法是最小二乘法的一种简单推广，它只是扩充了参数向量 和数据向量 的维数，在辨识过程中同时考虑了噪声模型的参数[16]。

广义二乘法的基本思想在于对数据先进行一次白化滤波处理，然后利用基本的最小二乘法对滤波后的数据进行辨识。所用的滤波模型实际上是一种动态模型，经过几次迭代调整后，便可对数据进行较好的白化处理[17]。

辅助变量法也称为工具变量。从加权最小二乘法出发，选取 为辅助变量矩阵， 的元素称为辅助变量。 阵的选择要与噪声无关，但要与数据矩阵 紧密相关[18]。

相关最小二乘法是一种用两步法估计出参数模型的参数值的辨识方法。首先用相关分析法辨识系统的脉冲响应函数，确定出被识系统的非参数模型，然后再应用最小二乘法将非参数模型拟合成参数模型[19]。

多阶段最小二乘法是把复杂的辨识问题分成3个阶段来处理，而且每个阶段只用到简单的最小二乘法，省去了广义最小二乘法的迭代过程，简化了计算，并且可以得到参数的一致性无偏估计，计算精度比辅助变量法高。但是这种方法也存在着与广义最小二乘法相类似的收敛问题[20]。文献综述

以上提到的几个最小二乘法在系统辨识都有相当重要的使用价值，在本文中，主要将会进一步理解和仿真最小二乘的一次算法、递归算法、增广算法和广义算法。

2 系统辨识

2.1 辨识的定义

L．A．Zadeh曾经给辨识下过这样的定义：“辨识就是在输入和输出的数据基础上，从一组给定的模型中，确定一个与所测系统等价的模型。”[21]这个定义明确了辨识的三大要素：①输入输出数据；②模型类；③等价准则。其中，数据是辨识的基础；准则是辨识的优化目标；模型类是寻找模型的范围。当然，按照Zadeh德定义，寻找一个与实际过程完全等价的模型无意识是非常困难的。从实际观点出发，对模型的要求并非如此苛刻，为此对辨识又有一些比较实用的定义。比如，P．Eykhoff给辨识下的定义是：“辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统)本质特征的一种算法，并用这个模型把客观系统的理解表示成有用的形式[22]。”V．Strejc对P．Eykhoff的定义作如下解释：“这个辨识定义强调了一个非常重要的概念，最终模型只应表示动态系统的本质特征，并且把它表示成适当的形式。”[23]这就意着，并不期望获得一个物理实际的确切的数学描述，所要的只是一个适用于应用的模型。1978年L．Ljung给辨识下的定义更加实用：“辨识有三个要素――数据，模型和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。”[24]总而言之，辨识的实质就是从一组模型类中选择一个模型，按照某种准则，使之能最好的拟合所关心的实际过程的动态特性。