Zookeeper大数据平台分布式调度系统的设计与实现(2)
时间:2022-03-05 22:08 来源:毕业论文 作者:毕业论文 点击:次
问题分析及解决方案 9
4。2 系统框架设计 。 11 5 详细设计与实现 12 5。1 信息存储表 。 12 5。2 系统业务逻辑及流程 。 12 5。3 模块流程图 。 12 5。4 模块详细设计 。 13 6 测试与应用 22 6。1 开发环境与工具 。 22 6。2 环境搭建与配置 。 22 6。3 系统测试与示例 。 23 结 论 。 31 致 谢 。 32 参 考 文 献 33 第 II 页 本科毕业设计说明书 1 引言 随着信息量和数据量的逐渐增大,作业与任务对资源的消耗和需求也随之增 加,单机式的数据处理变得愈发困难,这时需要设计实现一个分布式的任务调度 系统去自动的执行用户需要的大型任务,但是如何实现统一的管理与调度,状态 与信息如何协调和同步,资源如何更恰当的分配,以及会遇到哪些问题及该如何 解决,都需要进行深入的研究和分析,因此设计一个合理、高效、可靠的调度系 统去完成分布式任务调度功能,是本课题研究的核心和重点。论文网 1。1 研究背景及意义 目前许多公司信息沟通常常滞后,许多数据统计分析及管理都需要人工干预, 工作量很大。根据相关的记载和统计,数据的存储量和使用量每隔 2 年就会增长 一倍。随着现代公司信息化和精细化管理的逐步深入,每年各类贯标检查频繁, 数据量和任务量也明显增大,单纯的靠手动操作或单机运行已经无法满足生产需 求,在这种情况和背景下,有必要建立一种有效的数据处理及管理系统,可以自 动化的统一分配和处理工作任务,用户可以不需要了解底层结构,只需要在简单 进行作业任务提交的情况下进行高效的作业任务调度、执行和管理,采用这种任 务管理方式,可以显著地提升工作效率和水平。 1。2 研究现状及前景 1。3 论文研究内容 本文基于当前大作业与多任务的时代背景,通过对分布式任务调度框架与结 构的研究和设计,考虑和解决相关问题,以实际工程为考量,实现一种有效的、 完善的、统一的自动化分布式调度系统。这个系统提供良好的人机交互方式,只 需要用户提交定时任务,而不需要考虑和了解底层的结构,而且系统具有良好的 消息状态协调和同步功能以及容错能力,可以保证系统稳定的运行,防止数据和 资料的丢失,简单的操作即可完成需要执行的任务。 本文主要内容包括: (1) 介绍分布式任务调度过程中的基本概念与相关知识,以及核心技术的框架 结构和原理。 (责任编辑:qin) |