1.1  LASSO方法
 LASSO是目前比较流行的数据挖掘的一种方式，因为它有相当多的优点：能满保证变量的选择和参数的估计一起发生.它由Tibshirani提出来．
给定一线性回归模型
                                                            
其中，  是一个随机向量，其元素独立同分布，且均值为0，方差为 ，  是n×1阶向量，  是n×p阶自变量矩阵：
 
  为上述模型的系数向量．假如我们认为因变量和自变量都是被中心化过的，那么这个模型的截距就是零了．对于上面的模型，它的系数的LASSO估计量可以表示为：                                                 
 
若设计阵列正交，LASSO方法参数估计的显式表达为
                                                                          
在安排阵非列正交的时候，我们可以先确定 的值然后利用二次算法得到参数估计．在更为简单的情况下，还可以运用最小角回归(LAR)的方法对参数进行估计算法．
和岭回归相比较的话，LASSO方法从形式上来讲比较简单．LASSO方法就重要变量（参数估计较大的变量）的系数压缩这一概念来说影响不重，这样就保证了估计参数时候的准确性． 高维数据线性回归的相合性分析(2):http://www.youerw.com/shuxue/lunwen_38764.html