8

3  基于Hadoop的N-FINDR算法并行优化 12

3。1  N-FINDR算法原理 12

3。2  N-FINDR算法的串行实现 13

3。3  N-FINDR算法的并行优化 13

4  基于Hadoop的N-FINDR算法并行优化实验 19

4。1  实验环境 19

4。2  具体实验结果及分析 19

5  总结与展望 24

5。1  研究总结 24

5。2  研究展望 24

致  谢 26

参 考 文 献 27

1  绪论

1。1  研究背景与意义

由于科学技术的进步和发展,人们认识与研究事物的方式发生了巨大的变化,从上世纪60年代至今,随着电磁波的理论研究与实践应用迅速发展,遥感技术很快就成为了最重要、最前沿的科学技术成就之一。该技术主要用于收集地表资源的各项数据,并对该数据进行研究和应用,它采用的是非接触的方法,依靠电磁波和地表资源发生相互作用而获得详细的地物信息[1]。遥感技术已经在诸多领域发挥巨大的作用,如生态环境监测、城市规划、地质勘探、军事目标侦察等领域[2]。图1。1是遥感处理过程的示意图[3]。成像光谱技术也是人们认识事物的重要方式和依据,而该技术的进步,推动着高光谱遥感技术(hyperspectral remote sensing technology)的诞生并发展成遥感领域中的重要创新。

遥感处理流程示意图

图1。1 遥感处理流程示意图

高光谱遥感技术是上世纪80年代兴起并迅速发展的新兴遥感技术,它结合成像光谱仪,性地将细分光谱技术和成像技术结合起来,获得具有较高光谱分辨率和丰富的图像与光谱信息的高光谱图像(hyperspectral image)[4]。论文网

高光谱图像的光谱分辨率可达5~10 nm级别,而传统的多光谱图像的分辨率一般超过了100 nm。尽管高光谱图像的分辨率较高,包含可达数百个波段的丰富数据,但由于其受到获取手段和光学器件性能的限制,高光谱图像的空间分辨力非常低。遥感器的较低分辨力以及探测环境的复杂多样性,导致高光谱图像获得的并非全是纯像元(pure pixel),而是极有可能是由多种地物光谱特征叠加形成的混合像元(mixed pixel)。混合像元的存在,给传统的基于像元的遥感分类与定量分析带来了巨大的挑战,并难以使结果满足实践应用的需求[5]。因此,为了解决混合像元的存在而导致遥感应用精度不高的问题,使之能够满足实际场景下定量化使用的需求,就很有必要克服高光谱图像中混合像元的存在难题,将混合像元分解为端元(endmember,即纯像元),也就是端元提取(endmember extraction)过程;然后再进一步求得每个混合像元中各个组成部分的丰度。其中,提取纯净像元是解混过程的一个重要的环节。

高光谱图像的数据量较大,而且混合像元解混过程算法复杂度较高,单机处理极易遇到内存不足、存储空间不足、执行效率过低等问题。对此,研究者利用GPU、多核计算等并行技术提升算法的计算效率,但这些方式并没有很好的解决上述瓶颈问题,因此寻求向分布式并行优化转变是十分可行的途径。

最近,云计算技术迅速发展并趋于成熟,在数据挖掘、数据存储、虚拟办公等很多领域已经得到了应用。Hadoop平台是一种开源的分布式计算平台。Hadoop扩展性良好,能够搭建大规模的集群,且编程模式简易高效,在实际的应用中发挥了很大的价值。Hadoop计算平台强大的数据存储能力和庞大的并行计算能力,为处理高光谱数据在单机运行中遇到的存储不足、计算效率过低等瓶颈问题提供了平台。实现高光谱图像解混过程在云计算平台上的并行优化,可以解决单机处理面临的难题,增强高光谱图像解混的处理能力,推动高光谱图像研究进一步发展。

上一篇:基于特征组合的文本情感分类算法
下一篇:皮肤检测与美化算法的研究

高职院校公共机房的管理维护【2471字】

高级RFID阅读器應用對处理器的要求【1354字】

试析高职院校计算机专业...

论高职计算机應用专业課...

无跳线主板BIOS高级设置【706字】

提高实时操作系统的实时...

浅谈高职院校计算机网络实践教學【2060字】

新課改下小學语文洧效阅...

互联网教育”变革路径研究进展【7972字】

网络语言“XX体”研究

安康汉江网讯

老年2型糖尿病患者运动疗...

LiMn1-xFexPO4正极材料合成及充放电性能研究

麦秸秆还田和沼液灌溉对...

张洁小说《无字》中的女性意识

ASP.net+sqlserver企业设备管理系统设计与开发

我国风险投资的发展现状问题及对策分析