基于Hadoop云计算的高光谱图像端元提取算法设计与实现(5)
时间:2018-08-21 14:32 来源:毕业论文 作者:毕业论文 点击:次
现在的社会信息量爆棚，各种信息纷繁多样，有企业数据、工业数据、个人数据等等，将来这些数据还会更多的多，当然数据是用来分析的，本文要从这大量的数据中分析出需要的信息，为了要减轻这项任务，那么面对如此海量的数据，本文怎样有效的进行计算和分析呢，仅仅靠普通的信息检索，是不能达到高效的目的的。对于这些问题，本文使用了Hadoop，Hadoop采用的是分布式方式，这样的方式，不仅提高了读写的速度，还加大了存储的容量。同时，使用MapReduce规整在分布式文件系统上的数据，能够保障高效的进行数据的分析和处理，而且Hadoop还能够存储冗余的数据，这样保障了数据的安全性。 HDFS具有高容错的优点，是由于Hadoop用Java搭建的，所以它有很高的兼容性，可以部署在各种低廉的硬件集群上，也不会受限于操作系统。 HDFS的数据管理能力以及MapReduce对数据处理的高效性，同时hadoop又是开源的，这让Hadoop备受瞩目，并被广泛的使用。 (责任编辑：qin) |