2. 给定一个变量 y和一些变量 p X X , , 1  ，这些变量是有可能与 y相关的，
线性回归可以用来量化度量y与 j
X 之间相关性的强度大小， 找出出与y不相关的
j
X ，并识别出哪些 j
X 的子集中包含有关于 y的冗余的信息。
线性回归模型常常用最小二乘来拟合，当然也有其他的方法，例如用最小化
“拟合缺陷”在一些其他规范里（比如最小绝对误差回归等等） ，或者在桥回归
中最小化最小二乘损失函数的惩罚。然而,最小二乘逼近也可以用来拟合那些非
线性的模型。因此，二者是紧密联系在一起的，但并不是对等的。
1.3 最小二乘法
勒让德 1805 年发表的论著《计算彗星轨道的新方法》附录中首次提到了最
小二乘法，虽然在前面关于卫星轨道计算的理论中并没有提及最小二乘法，但是
附录去足足占据了 9 页之多，可以推测他当时觉得这一方法还不够成熟。勒让德
在附录中论述了最小二乘法的思想，具体做法及优点，以引进这种方法的理由为
开端： “所研究的据大多数问题都是观测值来确定其结果这种模式，但是这总会
产生有n个未知量m个方程的线性方程组 ) ( n m  。论。
1.2 线性回归模型
在统计学中，线性回归是通过我们称为线性回归方程的函数对一个或多个自
变量和因变量之间关系建立模型的一种回归分析。一个或多个称为回归系数的模
型参数的线性组合构成了这个函数。大于一个自变量情况的我们称为多元回归，
而只有一个自变量的情况则是简单回归。
在线性回归模型中，数据使用线性的预测函数来建立模型，而且模型参数也
是通过数据来估计出来的。这些模型被叫做线性模型。最常见的线性回归模型是
给定X 值的y的条件下条件均值是X 的仿射函数。在多元分析领域，如同其他所 线性回归模型中最小二乘估计的改进与应用(2):http://www.youerw.com/shuxue/lunwen_14835.html