在近几十年来，对无约束最优化问题求解理论和方法的研究迅速发展并且趋于成熟， 最为一种十分有效的最优化方法，无约束最优化方法随着计算机普及和发展，在工程设 计、系统分析等领域等到了广泛的应用，越来越受到人们的重视。目前，广泛采用的经 典最优化计算方法包括最速下降法、牛顿法、拟牛顿法以及共轭梯度法等等[8]。其中， 牛顿法在处理一些中小型的最优化问题的时候有着较好的效果，但是由于其每次迭代过 程中的计算工作量较大以及需要较大的存储空间这一缺陷，使得这种方法不适合大型问 题的求解。相比之下，最速下降法每次迭代过程的计算工作量和需要的存储空间就要小 得多，因此，最速下降法适合求解大型的最优化问题，但是与牛顿法一样，最速下降法 也存在着一些缺点，那就是它的收敛速度很慢，而且在最优点附近容易产生拉锯现象。

共轭梯度法是目前用来解决大型的最优化问题最有效的方法之一，与前两种方法一样， 这种方法也不是完美的，它的缺点体现在很多的共轭梯度法不具备全局收敛性并且其数 值的稳定性较差，因此它不适合大型病态最优化问题的求解。但是在科学工程计算中， 有很多的大型病态最优化问题需要求解，为了解决这些问题，需要寻求和设计更有效的 方法，人们根据共轭梯度法的理论基础上进行改进研究，提出各种各样的共轭梯度方法， 这些方法不仅具有收敛性，而且收敛速度也非常得快，除此之外更具备了记忆性、预测 性、数值稳定性等特性。

2。2 最速下降法来,自.优;尔:论[文|网www.youerw.com +QQ752018766-

2。2。1 最速下降法简介

最速下降法又被称为梯度法，是十九世纪中期，由法国著名数学家 Cauchy 提出的，它 是在分析方法中最古老的一个，后来人们所提出的解析方法，或是由它的变形而来，或 由它受到启发而得到的，因此人们称它为最优化方法的基础[9]。最速下降法作为一种基 础的算法，它在最优化方法中有着十分重要地位。它的优点是：1、对初始点的要求不 高 2、工作量小 3、存储变量较少；缺点是：1、收敛速度慢 2、算法效率低 3、对于有 些优化问题不能得到最优解。在非线性规划研究中，我们研究的是非线性函数的数值优 化问题。它的理论和方法在很多领域都得到了应用，尤其在工程设计、生产自动化以及 产品优化升级的设计等方向有着十分突出的表现，甚至在军事、经济、管理等领域都有 着十分重要的作用。简单的来说，最速下降法实际上就是对 n 元函数无约束非线性化规 划问题的一种十分重要的解析法，最速下降法理论的研究及其功能的实现对人类活动具 有很重大的意义。