线性回归中最小二乘估计的改进
本文针对多重共线性这一问题，阐述了各种有偏估计的原理和方法，利用SPSS软件和实际数据，重点研究了最小二乘估计和岭估计的优良性对比，并作出总结。最后，针对岭估计过度压缩的问题，根据最新的科研成果，作了一定的阐述和解释。 7079
关键词 线性回归 最小二乘估计 多重共线性 岭估计 过度压缩
Title The improvement of least square estimation of linear regression
Abstract
Linear regression model theory,which is rich and widely used,is an
important branch of modern statistics .One of the most basic problem is
that the estimation of regression parameters.The method has many kinds,and
the most common method is the least square estimation.However, in large
numbers of cases, least squares estimation appeared obvious drawbacks .
After many years of research by statisticians, figure out some solution
to this problem, in which the biased estimation is more commonly used
methods.
To solve the multicollinearity problem,this paper elaborates the principle
and method of some kinds of biased estimation,and compares the least
squares estimation and ridge estimate of to make a summary with the help
of SPSS software and actual data.Finally,considering the excessive
compression problem of the ridge eatimation ,this article elaborates and
explain this problem a little ,according to the latest research results.
Keywords linear regression,least square estimation,multicollinearity,
ridge estimation,excessive compression
目 次
1 绪论 1
1.1 多元线性回归 . 1
1.2 参数估计的发展概述 . 3
1.3 本文研究的问题 . 5
2 最小二乘估计与岭估计 7
2.1 最小二乘估计方法及性质 . 7
2.2 多重共线性问题 . 8
2.3 岭估计方法与性质 . 11
2.4 岭参数 的选择 12
3 改进效果实例研究 14
3.1 最小二乘线性回归 . 15
3.2 岭回归 . 17
4 岭估计过度压缩的改进方法 21
4.1 岭估计的主要问题 . 21
4.2 对岭估计过度压缩的改进 . 21
结论 24
致谢 25
参考文献 26
1 绪论
线性模型是现代统计学中理论丰富、应用广泛的一个重要分支，许多生物、医学、
经济、管理、农业、工业、工程技术等领域中的现象都可以用线性模型来近似描述。
特别是在当代高速电子计算机日益普及的时代背景下，线性模型可以用来处理很多数
据量庞大的问题。因此线性模型成为现代统计学中应用最为广泛的模型之一[1]。
在研究实际问题时，我们经常要研究某一现象与影响它的某一个或某些因素的关