4。3  实验过程 21

4。4  实验结果及分析 21

4。5  本章小结 24

结  论 26

致  谢 27

参 考 文 献 28

图 1。1  LASSO算法流程简述 8

图 3。1  FISTA求解系数估计的详细流程图 15

图 4。 1  一维变量函数的拟合示例 系数估计为 22

图 4。 2  样例I 二维变量函数的拟合示例 系数估计为 22

表 3。1  关键变量定义表 16

表 3。2  初始化优化变量表 16

表 3。3  输入参数表 17

表 3。4  回溯过程算法表 17

表 3。5  stoppingCriterion迭代条件判定表 18

表 3。6  输出结果表 18

表 4。1  样例I 二维测试数据 20

表 4。2  样例II 10维测试数据 21

表 4。3  样例II 10维测试数据的FISTA系数估计 23

表 4。4  样例II 10维测试数据的OMP算法系数估计 24

1  绪论

1。1  研究背景和意义

时代变迁，信息飞速增长，信息技术迅猛发展，人们存储数据越来越便利，数据的维数也越来越高，常常远超样本个数。研究者们常常需要进行数据分析，并从中提炼有效信息。而海量存储数据虽然在提供信息上提供了便利，也对数据分析工作提出了挑战。与高维数据相对应地，统计分析中的传统情况是，样本库足够庞大，而维数并不高。而高维数据却能带来不小的困难。对于高维线性模型的参数估计，传统的最小二乘方法就失效了[1]。论文网

对高维数据的处理，一个基本的思路是：以不损失信息作为条件，利用变量选择，将变量的维数降低到适当的程度[2]。再利用低维情况下的分析方法进行推断。

    提取感兴趣特征的过程，也就是变量选择（特征选择）。近年来，特征选取的方法有了较大突破，为进行深层次的分析提供了条件。最小绝对收缩和选择算子方法（Least Absolute Shrinkage and Selection Operator, LASSO）[3]，是一种基于一范式的特征选择方法。它是目前较流行的变量选择方法之一。LASSO能同时进行回归压缩（Regression Shrinkage）和特征选择（Feature Selection），因而成为一个研究热点[4]。对Lasso算法的研究意义重大，这让信息技术研究者们能够更好地分析海量高维数据，解决遇到的难题。

1。2  高维数据分析模型及正则化的研究现状

1。2。1  高维数据分析模型的研究现状

1。2。2  正则化估计方法的研究现状

1。3  本文研究工作

本课题的主要工作是深入研究基于LASSO思想的各类正则化方法，根据数据分析模型改进的需要，选择一种针对LASSO问题的高效快速迭代收缩阈值算法(Fast Iterative Shrinkage-Thresholding Algorithm，FISTA)算法加以实现，并对FISTA算法在数据拟合模型的结果做出分析。

本课题的研究内容主要围绕以下几个方面展开：一、探讨了高维数据建模分析中的正则化方法，理解LASSO方法中的变量选择和系数估计原理；二、使用MATLAB编程实现了基于LASSO问题的FISTA算法，通过确定拟合模型的部分稀疏系数达到数据降维的目的；三、队使用FISTA算法针对高维数据的你和结果做出了相应的测试分析，并和其它正则化算法的拟合结果进行对比，证明了FISTA算法的优越性。文献综述