Matlab研究最速下降法求解无约束最优化问题的一类修正方法
关键词:无约束最优化问题；最速下降法的修正方法；Matlab软件
Research on The Correction Method of The Steepest Descent Method for Solving Unconstrained Optimization Problems and
Implementation in Matlab
Abstract: The steepest descent method is a basic algorithm for solving the unconstrained optimization problems. First，the paper introduces the basic thought，calculation steps and limitation of the steepest descent method．Then，it gives a detailed description of the improvement process of the steepest descent method，calculation steps and superiority of the new algorithm．Finally，the paper uses the new algorithm to solve the unconstrained optimization problem and realize it in Matlab software.
Keywords: The unconstrained optimization problems；The improvement of the steepest descent method；Matlab software
目 录
摘 要 1
引言 2
1. 最速下降法的介绍 3
1.1 最速下降法的基本思想 3
1.2 最速下降法的具体步骤 4
1.3 最速下降法的局限性 4
2. 最速下降法的改进 6
2.1 改进算法的基本思想 6
2.2 改进算法的具体步骤 6
2.3 改进算法的收敛性证明 6
3. 实例验证 9
4. 结束语 15
参考文献 16
致谢 17研究最速下降法求解无约束最优化问题的一类修正方法及其在Matlab中的实现 引言
人们在当代科研过程或工程技术中经常会遇到一类无约束最优化问题. 考虑无约束问题 , ,其中函数 具有一阶连续偏导数.在处理这种问题的时候，人们总是希望从某一点出发，来选取一个使目标函数值下降最快的方向，以尽快达到极小点. 基于这样一种希望，最早在1847年，法国数学家柯西(Cauchy)提出了一种有效的算法，这就是——最速下降法[5]. 此算法具有迭代过程计算简单，占用计算机内存空间少，在远离极值点时收敛速率快等优点，但缺点是在靠近极值点时收敛地非常慢，效率不高，乃至达不到最优解. 那么，针对最速下降法的缺点修正的算法可以有效地抑制最速下降法在迭代中产生的“锯齿现象”，并且大大提升原算法的收敛速率，这对人们解决无约束最优化问题有着极其重要的意义[2].
因为有当今数学的不断创新与发展，和国内外众多学者的集思广益，关于最速下降法的改进算法求解无约束最优化问题的数学研究在近几十年有了很大的进展. 1987年陈绮珑提出了解无约束最优化问题的梯度加速法[4]，1995年吴兆亮和刘景华发表了一种改进的算法——最好点最速下降法[3]，1995年付文军提出了一种最速下降法和牛顿下降法混合的算法[1], 2011年周宁涛，杨顺奇，陈康宁发表了著作《三种无约束优化算法的比较分析》[7]. 在国外以1988年Peressini AL, Sullivan FE,Uhl JJ. Jr. 的著作《The mathematics of Nonlinear Programming》以及2003年Lusem,A. N的著作《On the convergence properties of the projected gradient method for convex optimization》等为代表.
本文的第一部分主要介绍了最速下降法的基本思想、具体计算步骤以及自身存在的局限性. 第二部分详细描述了对最速下降法的改进过程和新算法的计算步骤以及对比最速下降法的优越性. 第三部分以改进后的新算法为基础，求解无约束最优化例题并在Matlab 软件上实现.
上一篇：隐函数在数学分析中的应用探讨
下一篇：第二型曲面积分的解法探讨