高维数据线性回归的相合性分析(2)
时间:2019-09-03 13:03 来源:毕业论文 作者:毕业论文 点击:次
1.1 LASSO方法 LASSO是目前比较流行的数据挖掘的一种方式，因为它有相当多的优点：能满保证变量的选择和参数的估计一起发生.它由Tibshirani提出来． 给定一线性回归模型 其中， 是一个随机向量，其元素独立同分布，且均值为0，方差为 ， 是n×1阶向量， 是n×p阶自变量矩阵： 为上述模型的系数向量．假如我们认为因变量和自变量都是被中心化过的，那么这个模型的截距就是零了．对于上面的模型，它的系数的LASSO估计量可以表示为： 若设计阵列正交，LASSO方法参数估计的显式表达为 在安排阵非列正交的时候，我们可以先确定 的值然后利用二次算法得到参数估计．在更为简单的情况下，还可以运用最小角回归(LAR)的方法对参数进行估计算法． 和岭回归相比较的话，LASSO方法从形式上来讲比较简单．LASSO方法就重要变量（参数估计较大的变量）的系数压缩这一概念来说影响不重，这样就保证了估计参数时候的准确性． (责任编辑：qin) |