3  基于Hadoop的N-FINDR算法并行优化 12

3。1  N-FINDR算法原理 12

3。2  N-FINDR算法的串行实现 13

3。3  N-FINDR算法的并行优化 13

4  基于Hadoop的N-FINDR算法并行优化实验 19

4。1  实验环境 19

4。2  具体实验结果及分析 19

5  总结与展望 24

5。1  研究总结 24

5。2  研究展望 24

致  谢 26

参 考 文 献 27

1  绪论

1。1  研究背景与意义

由于科学技术的进步和发展，人们认识与研究事物的方式发生了巨大的变化，从上世纪60年代至今，随着电磁波的理论研究与实践应用迅速发展，遥感技术很快就成为了最重要、最前沿的科学技术成就之一。该技术主要用于收集地表资源的各项数据，并对该数据进行研究和应用，它采用的是非接触的方法，依靠电磁波和地表资源发生相互作用而获得详细的地物信息[1]。遥感技术已经在诸多领域发挥巨大的作用，如生态环境监测、城市规划、地质勘探、军事目标侦察等领域[2]。图1。1是遥感处理过程的示意图[3]。成像光谱技术也是人们认识事物的重要方式和依据，而该技术的进步，推动着高光谱遥感技术（hyperspectral remote sensing technology）的诞生并发展成遥感领域中的重要创新。

图1。1 遥感处理流程示意图

高光谱遥感技术是上世纪80年代兴起并迅速发展的新兴遥感技术，它结合成像光谱仪，性地将细分光谱技术和成像技术结合起来，获得具有较高光谱分辨率和丰富的图像与光谱信息的高光谱图像(hyperspectral image)[4]。论文网

高光谱图像的光谱分辨率可达5~10 nm级别，而传统的多光谱图像的分辨率一般超过了100 nm。尽管高光谱图像的分辨率较高，包含可达数百个波段的丰富数据，但由于其受到获取手段和光学器件性能的限制，高光谱图像的空间分辨力非常低。遥感器的较低分辨力以及探测环境的复杂多样性，导致高光谱图像获得的并非全是纯像元(pure pixel)，而是极有可能是由多种地物光谱特征叠加形成的混合像元(mixed pixel)。混合像元的存在，给传统的基于像元的遥感分类与定量分析带来了巨大的挑战，并难以使结果满足实践应用的需求[5]。因此，为了解决混合像元的存在而导致遥感应用精度不高的问题，使之能够满足实际场景下定量化使用的需求，就很有必要克服高光谱图像中混合像元的存在难题，将混合像元分解为端元（endmember，即纯像元），也就是端元提取（endmember extraction）过程；然后再进一步求得每个混合像元中各个组成部分的丰度。其中，提取纯净像元是解混过程的一个重要的环节。

高光谱图像的数据量较大，而且混合像元解混过程算法复杂度较高，单机处理极易遇到内存不足、存储空间不足、执行效率过低等问题。对此，研究者利用GPU、多核计算等并行技术提升算法的计算效率，但这些方式并没有很好的解决上述瓶颈问题，因此寻求向分布式并行优化转变是十分可行的途径。

最近，云计算技术迅速发展并趋于成熟，在数据挖掘、数据存储、虚拟办公等很多领域已经得到了应用。Hadoop平台是一种开源的分布式计算平台。Hadoop扩展性良好，能够搭建大规模的集群，且编程模式简易高效，在实际的应用中发挥了很大的价值。Hadoop计算平台强大的数据存储能力和庞大的并行计算能力，为处理高光谱数据在单机运行中遇到的存储不足、计算效率过低等瓶颈问题提供了平台。实现高光谱图像解混过程在云计算平台上的并行优化，可以解决单机处理面临的难题，增强高光谱图像解混的处理能力，推动高光谱图像研究进一步发展。