1.4.2 神经网络在非线性系统辨识中的应用

   人工神经网络已在各个领域得到广泛应用，尤其是在智能系统中的非线性建模及控制器的设计、模式分类与模式识别、联想记忆和优化计算等方面得到人们的极大关注。从控制理论的观点来看，神经网络对非线性函数的逼近能力是最有意义的，因为非线性系统的变化多端是采用常规方法无法建模和控制的基本原因，而神经网络描述非线性函数的能力，也就是对非线性系统的建模能力，正适合于解决非线性系统建模与控制器综合中的这些问题。具有这一特性的多层前馈神经网络在实际应用中的比例要占所有人工神经网络应用的百分之八十以上[7]。自前向神经网络BP算法提出以来，己在控制界和其它领域得到广泛应用。由于BP算法学习速度慢，容易陷入局部极小值，网络隐含层的层数及隐含层的单元数的选取尚无理论上的指导，而是根据经验确定；同时网络的学习、记忆具有不稳定性。一个训练结束的BP网络，当给它提供新的记忆模式时，将使己有的连接权打乱，导致记忆模式的信息丢失[27]。要避免这种现象，必须将原来的学习模式连同新加入的学习模式一起重新进行训练。针对上述各种缺陷，迄今已提出大量改进算法。如采用自适应调整学习速率加快BP算法的收敛速度[13]，采用变动量因子改善学习效果[14]。但研究表明，单纯改变学习速率或动量因子对改善学习效果均有一定的局限性，有时甚至不如基本BP算法[15]。以上算法均是针对BP算法收敛速度慢而提出来的。对于BP算法存在的局部极小值问题，也有许多改进的算法，如模拟退火法、Alopex算法、遗传算法、粒子群算法等，这些算法都是随机化的批量算法，不易在线执行。其中递推最小二乘(RLS)技术应用于多层前馈网络的训练，能得到全局最优解，并易于在线执行，但算法在执行过程中，计算量和存储量都远超过基本BP算法，给具体应用带来了困难[29]。文献综述

    从上可以看出，每一种算法都有各自的优缺点。因此，对于前馈神经网络来说，在前面这些学习算法的基础上，还需要改进或研究一些新的容易实现的算法，在算法的复杂度增加不多的情况下，来不断提高辨识精度、加快网络的收敛性，更好地满足日益复杂的非线性系统辨识需要[26]。最初，应用于系统辨识的神经网络都是静态的前馈网络，而对于实际的控制系统来说，被控对象一般都是一个动力学系统，所以，只能采用所谓的“外部抽头延迟线”反馈的方法[24]，来建模和控制动力学系统。这就需要知道动力学系统的阶或延迟，显然这不能适用于所有的动力学系统。因此，对于动力学系统的建模和控制，需要研究动态的递归神经网络。这正是目前神经网络的研究方向之一。对于递归网络的研究，现在提出了许多网络结构。虽然在网络内部引入反馈的方式各种各样，但都是力图以尽量简单的形式使整个网络能够描述非线性动力学信息，并应用于非线性动力学对象的辨识和控制设计[31]，大多数的递归网络是通过在前馈网络内部引入反馈构成的，学习算法一般采用最速下降法。因此递归网络存在的问题有[30]：

（1） 不能保证权值收敛到误差函数的全局最小；

（2） 稳定性问题。

    基于梯度下降的连续学习算法，由于依赖梯度的瞬时估计，一般是很慢的。最近，有人将递归网络的监督训练看作是最优滤波问题[25]，可以克服这个严重的局限，它的方法是以回溯到学习过程的第一次迭代的方式递归利用包含在训练数据中的信息，但是，它是以增加算法的复杂度为代价的。另外，在优化理论中新近发展的遗传算法(Genetic Algorithm，简称GA算法)，它是一种全局随机寻优算法，通过模仿生物进化的过程来逐步获得最好的结果。而且它需要的信息量少，具有全局寻优、并行性、速度快和不需要目标函数可微或连续等优点，是一类比较有前景的神经网络学习算法，利用它的强全局寻优能力可以防止神经网络陷入局部极值。Kennedy和Eberhart于 1995 年提出了一类新型的随机全局优化算法一粒子群优化算法(Particle Swarm Optimization Algorithm,简称PSO法)[23]，它没有遗传算法的交叉变异操作，而是根据自己的速度来决定搜索，源.自/优尔·论\文'网·www.youerw.com/ 每一个粒子都有记忆，其算法比较简单，是一类有着潜在竞争力的神经网络学习算法。总之与前馈网络相比，递归网络的结构比较复杂，无论是对它的网络结构还是学习算法，都有很多问题有待进一步研究。