lasso回归及运用

摘要：在当今社会，模型与变量的选择是统计学中极其重要的问题之一。本论文主要讲述的是线性模型Lasso的算法，Lasso估计的性质以及Lasso的简单应用，在讲述Lasso的时候介绍了Lasso算法和Lasso回归的解法以及与Lasso相关的算法。

在第一章主要讲述的是本论文研究的背景和意义、国内外研究的现状、论文研究的内容和研究工作以及与Lasso相关的知识。。并在第二章对线性模型lasso做了简单的介绍。第三章介绍了Lasso的算法。第四章简单介绍了Lasso估计的性质。第五章则是将Lasso估计的简单运用应用到实际中。

关键词：lasso估计线性模型变量选择渐进性

Abstract：In today's society, the choice of models and variables is one of the most important questions in statistics. This paper is mainly about the linear model of Lasso algorithm, a simple application of Lasso estimation of the nature of Lasso, about Lasso presents the solution of Lasso algorithm and Lasso regression algorithm and associated with Lasso.

In the first chapter, the background and significance of this research, the current research situation at home and abroad, the content and research work of this paper and the knowledge related to Lasso are introduced.. And the second chapter gives a brief introduction to the linear model lasso. The third chapter introduces the algorithm of Lasso. The fourth chapter gives a brief introduction to the properties of Lasso estimation. The fifth chapter applies the simple application of Lasso estimation to practice.

Key words: Lasso estimation; linear model; variable selection；Gradualness

第一章绪论1

1.1论文研究的背景和意义.1

1.2国内外研究的现状..2

1.3论文主要研究内容和研究工作.2

1.4相关知识介绍3

1.4.1线性回归..3

1.4.2最小二乘法3

1.4.3Ridge回归3

第二章线性模型lasso的简单介绍5

2.1lasso的含义5

2.1.1惩罚的核心5

2.1.2变量选择..5

2.1.3图解5

2.2lasso回归6

2.2.1lasso回归的含义6

2.2.2lasso回归的特点6

2.2.3lasso的问题.7

2.3lasso方法的介绍7

2.3.1lasso方法的定义7

2.3.2参数t的确定方法9

第三章lasso算法11

3.1lasso回归的解法..11

3.1.1坐标轴下降法11

3.1.2最小角回归（LeastAngleRegression,LARS）法.12

3.2lasso相关方法.12

3.2.1SCAD..12

3.2.2ADAPTIVE-LASSO.13

3.2.3ELASTICNET.13

第四章lasso估计的渐进性质15

第五章lasso的简单应用16

5.1回归模型16

5.2单因素分析.17

5.3多因素分析.17

5.4结论.18

结论20

致谢21

参考文献22

第一章绪论

1.1论文研究的背景和意义

随着数理统计的理论研究被不断完善以及信息技术的飞速发展。线性模型在经济、医学、工业等各个领域得到了长远的发展。事实上，线性模型在数理统计学中是一个发展比较早的模型，它具有丰富的理论知识，被广泛的应用在各个方面，可以说是如今统计学中非常重要的一部分。

但是随着社会多元化的发展，线性模型运用得越广泛，在各个应用领域所获得的数据也就越来越多，然而实际上通常只需要这些众多数据中的一部分数据，因此，模型的准确性就越显得重要。比如对某些现象进行预测，事实上，可以从样本中得到一些数据，然后用这些数据来预测想知道的某些结果。举个例子，在医学上，当病人服用某种药物之后，监测病人的各项身体状况指标数据以及是否会产生并发症，通过分析这些数据来判断此药物对这类病症的治疗情况是否良好。但仅有这些数据是远远无法满足做预测的要求的，想要得到更加准确的预测结果，必须要有一个准确的统计模型才可以。然而每个病人的情况是不同的，数据也会有很多，因此从海量的数据中选取出重要的有用的数据来建立模型也是及其重要的，而怎么才能高效准确的从庞大的数据中获取到有用的信息，也成为当代人们研究的一项热门话题。建立一个合适的统计模型，可以在初期选择比较多的自变量，然后再通过变量选择来提高模型的可解释性，为了减小因缺少重要自变量而出现模型的偏差。对线性回归模型来说，变量的选择和回归参数的取值决定模型的准确性。同样在统计建模过程中非常重要的一步就是指标选择。能够实现指标集合精简的估计方法就是LASSO（LeastAbsoluteShrinkageandSelectionOperator）算法。 lasso回归及运用:http://www.youerw.com/shuxue/lunwen_204102.html