基于Hadoop云计算的高光谱图像端元提取算法设计与实现(4)
时间:2018-08-21 14:32 来源:毕业论文 作者:毕业论文 点击:次
就像“云”一样，云计算也有类似于云的特性，从研究的现状上来看，云计算有以下一些特点： 超大规模：“云”具有相当的规模，大部分公司的云计算服务器已经拥有上万台甚至百万台的数量，如Google。 虚拟化：由于云计算是通过网络进行传输的，所以只要有网络，用户可以随时随地的获取数据，也并不需要知道服务进行的具体位置。 提高设备计算能力：云计算将很多的计算硬件资源整合起来，采用多主租用的方式共享它们，从这个社会角度来说，这种方式从整体调控了使用频率，解决了部分地区高负荷的问题了，提高了低频率运作的机器的使用率。 高可靠性：因为云计算采用了数据的高容错性，所以比本地计算机更可靠。 减少设备依赖性：因为服务是通过网络提供的，对用户来说，设备相当于是透明的，并不能看到，只能看到网络虚拟的设备，并不是实际的设备，于是减少了设备依赖性。 通用性：云计算是一个平台，并不针对特定的应用，所以可以支持各种各样的应用。 高可扩展性：“云”的规模是可以动态改变的，易于满足用户的需求。 弹性服务：因为云计算服务并不是固定资源的使用，所以可以根据需求的不同或者改变来提供所需的服务，对有波动的需求有很好的效果。 按需服务：“云”是一个巨大的资源库，用户可根据自己的需求进行购买。 极其廉价：相对于直接够买硬件设备，使用网络云服务极具性价比。 2.2.3 云计算的服务层次 云计算中，依照它的服务的集合所提供的类型，云计算的服务的集合被划分为4个层次，依次是应用层、平台层、基础设施层以及虚拟化层，它们每一个都有一个子服务集合与之对应，如图2.1。 云计算四层模型 云服务集合中的子服务  图2.1 HDFS模块结构图 2.3 Hadoop简介 Hadoop是一个开源分布式的系统基础架构，由Apache软件基金会开发[2]。用户可以在不了解分布式的底层细节的情况下，开发分布式程序，充分使用集群的优势进行高速的运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System，HDFS），HDFS有着高容错性和高伸缩性的特点，并且设计用来部署在低廉的硬件上。而且它提供较高的传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽POSIX的要求，这样可以流的形式访问文件系统中的数据。 2.3.1 Hadoop的优势 Hadoop是一个分布式计算平台，能够使用户轻松的架构以及使用，用户能够容易的在Hadoop上开发与运行可以处理海量的数据的应用程序[4]。它具有以下优点： 高可靠性：Hadoop的按位存储与处理数据的能力非常高效。 高扩展性：Hadoop在可以利用的计算机集簇之间分配数据同时完成计算任务，这些利用的集簇可以轻松的扩展到无数的结点中。 高效性：Hadoop可以在节点之间动态的进行数据的移动，并且保证各个节点的动态平衡，所以它的数据处理能力非常强。 高容错性：Hadoop可以自动的存储好几个不同版本的数据，同时也可以自动的把失败的任务重新进行分配。 2.3.2 Hadoop的功能与作用 (责任编辑：qin) |