云计算在物联网上的应用研究(4)
时间:2016-12-23 12:40 来源:毕业论文 作者:毕业论文 点击:次
图3 校园云( The Cloud of Campus) 基础设施层 3.2.3 负载管理 在校园云( The Cloud of Campus) 这样的大规模资源集群环境中, 任何时刻所有节点的负载都不是均匀的, 负载差异过大时, 会造成资源的浪费。基础设施层的自动化负载平衡机制将负载进行转移, 从而使得所有资源在整体负载上趋于平衡。 3.2.4 冗余备份 数据可靠性要求将数据的损坏和丢失的几率降到最低,这就需要对数据进行冗余备份, 以保证数据的高可靠性。 3.2.5 动态部署 动态部署一个典型场景就是实现基础设施层的动态可伸缩性, 也就是说校园云( The Cloud of Campus) 的应用可以在极短的时间内根据具体用户的需求和服务状况的变化进行调整。另一个典型场景是故障恢复和硬件文护, 基础设施层需要能够复制该服务器的数据和运行环境并通过动态部署在另外一个节点上建立起相同的环境。 3.2.6 资源调度 资源调度指的是在特定的资源环境下, 根据一定的资源使用规则, 在不同的资源使用者之间进行资源调整的过程。 3.2.7 多租户技术 在校园云(The Cloud of Campus) 环境中, 软件以软件即服务( Software- as- a- service, SaaS) 的方式发布出去, 提供给所有需要使用该软件的师生共享使用, 使软硬件资源能够更好地共享, 具有良好的可伸缩性, 每个用户可以按需使用资源。 3.2.8 海量数据处理 一些学科需要使用大量科学计算, 以及在一些科研实践中也需要大量数据处理。之前, 一般采用购买大型机的手段来得到这种数据处理能力, 代价高昂。现在, 利用校园云( The Cloud of Cam pus) 便可轻松解决, 不需额外的硬件投资,进行动态资源调度实现一个可扩展的可靠的计算环境。 3.2.9 大规模分布式存储 随着高校信息化的发展与完善, 越来越多的项目有存储海量数据的需求。校园云( The Cloud of Campus) 采用分布式存储的方式来存储数据, 采用冗余存储的方式来保证数据的可靠性, 即为同一份数据存储多个副本。校园云利用多台服务器满足其他服务器所不能满足的存储需求。校园云基于主流云计算的数据存储技术, 如Google 非开源的GFS( Google File System) 和 Hadoop开发团队开发的GFS 的开源实现HDFS( Hadoop Distributed File System) , 并根据高校特点做了相应的配置与改进。 GFS 是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。GFS 是一个可扩展、结构化、具备日志的分布式文件系统, 支持大型、分布式大数据量的读写操作。建立在庞大数据中心之上的GFS集群通常由一个控制中心( Master) 、多个数据服务器( Chunk server) 以及客户机( Client) 组成。 3.2.10数据结构化管理 校园云( The Cloud o f Campus) 的数据管理是基于Google 提出的Big Table 数据管理技术加以改进来实现的。Big Table 是为了管理结构化数据在GFS Map Reduce 基础之上设计的一个分布式的结构化数据存储系统, 用来处理海量数据。在结构上看, Big Table 是一个有序、稀疏、多文度的映射表, 在设计上具备很好的伸缩性以及高可用性等特点。在计算节点上, 开发者定义Map( 分治) 函数来处理键/值对, 并生成键/值对集合形式的中间结果, 之后根据开发者定义的Reduce( 规约) 函数将所有中间结果进行合并, 完成任务的处理。并行应用在执行过程中, 输入数据的划分、节点业务的执行调度、容错处理以及节点间信息交换等细节都将由Map Reduce 提供的编程模型实现。在Big Table 映射表内部, 每个Table 都是一个由行和列组成的多文稀疏图, 并且每个存储单元对应有一个时间戳。Table 的索引从行关键字、列关键字和时间戳三个文度建立,每个索引值都使用一个字符数组进行存放。Big Table 提供的API可以让开发者对Table中的数据进行CRUD操作, 并且API 提供了按行、按列等多种Big Table 的数据遍历方式。Big Table 对数据读操作进行优化, 采用列存储的方式, 提高数据读取效率BigTab1e 管理的数据的存储结构为:( row : string , column: string, time: int64) - > string Big Table的基本元素是: 行、列、记录板和时间戳。其中, 录板是一段行的集合体。 (责任编辑：qin) |