无约束最优化算法在回归和拟合中的应用
毕业论文关键词：无约束最优化算法；回归与拟合；最小二乘法；MATLAB
Application of Non Constrained Optimization Algorithm
in The Regression And Fitting
Abstract: Unconstrained optimization algorithm is an important part of nonlinear programming，but also has great effect on other parts. This paper mainly introduces the unconstrained optimization problem and the unconstrained optimization algorithm of classification and the basic principle of the algorithm，and the advantages and disadvantages of the algorithm based on unconstrained optimization problem. In the detailed computation，we to understand what is the regression and fitting and between them and the relationship between the main using least square method，the constrained optimization algorithm in order to realize the application the regression and fitting，and using MATLAB software to fit the curve and linear regression.
Keywords: Unconstrained optimization algorithm; Regression and fitting; Least square method; MATLAB
目 录
摘 要 1
引言 2
1.无约束最优化问题 3
2.无约束最优化算法及分类 4
2.1直接法 4
2.2解析法 6
3.回归与拟合 8
3.1回归 8
3.2拟合 9
3.3回归与拟合的区别和联系 9
4.无约束最优化算法实现在回归和拟合中的应用 10
4.1最小二乘法求回归直线方程 10
4.2最小二乘法拟合曲线 11
5.应用MATLAB实现算法在回归和拟合中的应用 12
5.1应用MATLAB通过最小二乘法拟合曲线 12
5.2应用MATLAB通过最小二乘法实现线性回归 13
6.结束语 15
参考文献 16
致谢 17
无约束最优化算法在回归和拟合中的应用
引言
最优化方法是一门年轻学科，同时是一门应用性特别强的理论，它可以实现计算与实际的完美连接，应用非常广泛.最优化方法和理论运用的主要是数学方法，来研究不同系统的优化途径及方案，从数学的角度表达了人们处理实际问题时所遵循的一种理念和方式.最优化理论与方法能够追溯到古老的极值问题，它是在第二次世界大战后才迅速发展的新兴的一门应用数学分支科学.在1947年数学家Dantzing提出求解一般线性规划问题的单纯形算法后，到本世纪40年代末才真正成为独立的一门学科.而随着科学技术的快速发展，最优化理论和算法在许多领域都已经有着广泛的应用，而无约束最优化是最优化理论的重要组成部分，目前无约束最优化算法已成为数值计算领域中重要的研究课题和方向.而且由于当下求解无约束最优化问题的方法有很多种类，因此我们需要找出一个相对快速并且复杂度较小的算法，来实现无约束最优化算法在回归和拟合中的应用.然后结合MATLAB软件 ，针对具体问题以及数值计算结果的精确度和时间的复杂程度，从而确定出一个相对有效的算法.
无约束最优化是最优化的重要组成部分，一方面它可以直接解决实际问题，另一方面它又是解决一些数学问题的有效工具.关于无约束最优化问题和算法以及关于MATLAB程序设计，参考文献[2]和[4]介绍了如何设计最优化MATLAB程序以及在计算机上如何运行，参考文献[8]和[9]以及[10]中通过比较分析无约束最优化算法中的直接法和解析法中的最小二乘法、最速下降法、牛顿法、共轭梯度法以及信赖域等方法的基本思想和原理，并分别说明了这几种方法的优缺点，以及方法的适用条件和范围.最后参考文献[10]介绍了用MATLAB软件实现曲线拟合以及最小二乘法拟合曲线原理，而参考文献[11]则分析了最小二乘法实现线性回归的基本原理和求得回归方程.
上一篇：常微分方程在数学建模中的应用
下一篇：高维数据的LASSO方法综述