无约束最优化算法在回归和拟合中的应用(3)
2.1直接法
直接法是一种迭代法，迭代步骤很简单.在求最优解 的过程中，不需要利用函数的解析性质，只用到了函数的函数值.当目标函数 的表达式特别复杂时，即在不能写出具体的表达式时，直接法就成了比较重要的一种方法.所以，直接法运用于很多方面.通常来讲，直接法对于目标函数 只要求能够通过逐步的试验后求得近似最优解.直接法主要有：坐标轮换法、爬山法、单纯形法、方向加速法、消去法（黄金分割法）、近似法、步长加速法等.这里我主要介绍以下几种直接法.
(1)消去法（黄金分割法）
消去法是利用单峰函数具有的消去性质来进行反复迭代，逐渐缩小搜索区间，不断的消去不包含极小点的区间，一直到搜索区间缩小到已给定的允许精度为止.一种典型的消去法是黄金分割搜索法.黄金分割搜索法的基本原理是删去左右两段而保留中间段，重复上个过程使区间逐渐缩小.在单峰区间的黄金分割点和对称点上插入两个点后把区间变成了3段，接着将这两点函数值通过比较大小来分析需要删去最左段还是最右段.这种方法的优点就是效率比较高，稳定性比较好，算法相对简单.
(2)单纯形法
单纯形法也是一种直接法，单纯形法对精度要求不高或变量不多的问题运用很方便，如果变量个数超过10个，这个方法就不太有效.它的基本原理是利用相对简单的几何图形上各个顶点相对应的目标函数值，在多次改变几何图形的这个过程中，目标函数最大的顶点逐渐被目标函数值较小的顶点所代替，最终求得最优点的算法.
上一篇：常微分方程在数学建模中的应用
下一篇：高维数据的LASSO方法综述