1。1 曲线拟合的背景

给定的离散点进行数据拟合是工程中经常遇到的问题：对于一些变量和对应的值之间的关系式，我们可以用具体的算子方程表示出来。而对于另外一些已知的测量点，我们并不知道它们之间的函数关系式。曲线拟合的目的就是根据有限的测量点，得到它们之间的解析表达式或者得到的多项式近似表达式。根据不同的目的，曲线拟合分为如下几种情况：

①插值：是利用函数在某区间中已知的若干点的函数值，作出适当的特定函数，在区间的其他点上用这特定函数的值作为函数的近似值。

②外推：根据一组观测值，计算观测范围以外同一对象近似值的方法，称外推法。

③滤波 (平滑)：通过曲线拟合减小测量噪声的影响，获得离散采样点对应的的更精确的值。

前两种方法只是一般的建立和求解方程即可，它得到解析表达式的目的仅仅是为了得到不在采样点上的对应的值，并没有考虑去除噪声测量的影响。而第三种方法中一般采样点的数目远远多于拟合曲线的阶数。我们可以采用最小二乘法，这样可以有效的滤除测量噪声。贾小勇[1]等人在其论文中提到，曲线拟合的关键在于误差按某种意义尽量最小，最小二乘法能够保证误差的平方和最小，基于最小二乘法的曲线拟合我们称之为最小二乘曲线拟合问题。论文网

1。2 最小二乘法的创立与发展 

天象观测是最早的科学应用问题之一。由于观测的天体相对于地球的运动较为规律，当某一理论被提出来之后，则需要在观测当中去检验。从这个角度来说天文测量奠定了近代物理学的基础。从古代到十八世纪，天文学一直是数学当中最发达的领域，数据拟合及数学建模的许多例子都来源于数学天文学。从某种意义下来说，天文学家就是最初的数理统计学家。后来，天文学上的许多问题被引导到参数模型中的种种估计方法上来，在这段时期，以最小二乘法为代表达到了其顶峰。天文学家罗杰柯茨的遗作是最早记载统计计算思想的。1715年，他在论文中运用了统计方法，即对各种观测值赋予加权后求其加权平均。尽管这一算法在当时得到认可，但后来的事实证明这样计算的结果不太精确。1749年，在研究木星和土星之间相互吸引力作用对各自轨道影响时，欧拉得到一个含8个未知量75个方程的线性方程组。但是欧拉的这种解法太过繁杂，因此这也只能看作是对最小二乘法探索的一次尝试。

最小二乘法是法国大数学家勒让德最先于1805年提出的。他是法国军事学校的教授，曾任多届政府委员，后来成了多科工艺学校的总监。他提出最小二乘法的动机是为处理一类从天文学和测地学中提出的数据分析问题。Plackett RL[2]在其论文中对该原理推导如下：对于一n个未知量m个方程的线性方程组（m>n）:

，寻求“最佳”近似解，以使所有都变小。为了确定误差平方的最小值，勒让德运用了微积分工具，即当平方和取最小值时，它对x的偏导数必为0，即得到方程组：

我们就可以得到n个未知量n个方程的线性方程组。勒让德没有像前人那样通过找出几个方程再去求解，而是考虑其误差在整体上的平衡，他以新的角度看待这个问题，这也是勒让德的成功之处。

1809年，高斯在其著作《天体运动论》中提到最小二乘法。他通过非常简单的手法导出误差分布——正态分布，并用最小二乘法加以验证。在谁最早创立最小二乘法的问题上，高斯和勒让德产生了严重了的争执，这在Waterhouse WC [3]的著作中有介绍。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。