无约束最优化算法在回归和拟合中的应用(2)
无约束最优化算法是优化算法的基本组成部分，也是优化设计中较常用的方法.在参考文献的基础上，本文介绍了无约束最优化问题中的主要的几种解析法的基本理论以及优缺点，并就解析法中的最小二乘法求得回归方程和拟合曲线，最后又结合MATLAB软件针对具体问题实现无约束最优化算法中的最小二乘法在回归和拟合中的应用.
1.无约束最优化问题
无约束最优化问题有相当一部分可以归结为一元或多元函数的极值问题，运用无约束最优化算法来解决最优化问题即怎样在一定条件下，寻求使得目标最大或者最小的决策，实际上也就是在不对值域或定义域做任何限制的情况下，求解函数 的最小值.相反地，约束最优化问题是具有形态的约束条件和辅助函数的优化问题，它的求解要比无约束问题的求解过程困难和复杂.实践中我们遇到的绝大多数问题都是具有约束的优化问题，但是可以通过优化方法的处理，将问题的有约束优化部分转变成无约束最优化问题，就可以利用无约束最优化算法来解决.也就是在远离了约束边界处和极值点时按无约束来处理，相反当接近约束边界处和极值点时再按有约束的优化问题来处理.或者也可以将有约束最优化的问题转化为无约束最优化的问题，最后再利用无约束最优化算法来解决.
数学规划是我们相对了解的线性规划，假如数学规划中的目标函数和约束函数中至少有一个是非线性的函数，就称为非线性规划.特别的，当非线性规划的可行域为 时，它可简记为以下形式：
其中， 表示 文欧式空间， 是连续可微函数.它称为无约束最优化问题，同样它也是无约束最优化问题的数学模型的一般表达形式.而求最优值 和 最优点 的方法，就称为无约束最优化算法.
求解无约束问题的最优值需要满足的必要条件和充分条件是设计算法的依据，这里我们简单介绍以下几个定理 ，其中 .
定理1 设 在点 处可微，若存在 ，使得 ，则向量d是 在点处 的下降方向.
定理2 设 连续可微， 是无约束问题的一个局部最优解，则 满足 .
定理3 设 二次连续可微，若 满足 且 半正定，则 是无约束问题的一个严格局部最优解.
2.无约束最优化算法及分类
无约束最优化算法是非线性规划的一个重要组成部分，对于其他的一些领域也有较大的作用.优尔十年代以来，DFP方法的提出与理论分析作为标志，无约束最优化算法才开始系统地被研究，在此期间不仅产生了许多重要的算法，也促成了相当厚实的理论基础.一般求解无约束最优化问题的算法主要是迭代算法，常常采用以下形式：
其中d表示某一下降方向，a表示步长，不同的迭代算法实际上就是对a和d的不同选择构成的.
迭代法主要是解决了以下两个问题：
(1)如何选择一个最较好的搜索方向，能使目标函数朝着这个方向迅速下降，并且计算简便可靠问题.
(2)在搜索方向已定的基础上，怎么样确定沿这个方向迭代的最优步长问题.
在无约束最优化问题中只有一个设计变量，即自变量的求极值的问题，它称为一文搜索问题也称为单变量优化问题.这是无约束最优化算法的根本基础.大概可以分为三种：采用多项式逼近的曲线拟合方法，例如二次差值法或三次差值法等等；使用目标函数的一阶和二阶导数的间接寻优法，如切线法.运用序列消去原理的直接迭代法，比如黄金分割法和分数法.
求解最优化问题的方法有很多种类，根据目标函数是否需要求导的原理，我们可以把无约束最优化算法 大致分成两类：直接法和解析法（也叫间接法）.
上一篇：常微分方程在数学建模中的应用
下一篇：高维数据的LASSO方法综述