基于海量存储的监控系统设计
时间:2018-03-28 11:08 来源:毕业论文 作者:毕业论文 点击:次
| 摘要随着人们对于海量数据的挖掘与应用技术的迅速发展，势必会引出海量数据如何存储的难题。如何存储海量数据，以及安全高效的控制存储环境，已经成为人们关注的主要问题之一。目前，有多种开源集群文件系统可以提供海量数据存储服务，性能上也各有千秋。此外，大部分开源集群文件系统基于Linux系统并且没有图形化界面，对于不熟悉Linux系统的用户来说，不仅不方便更加不安全,即使对于熟悉Linux系统的用户来说，也显得不友好。 本课题主要研究了在开源集群文件系统基础上，搭建海量数据存储的监控系统的方法。阐述了采集，分析由文件系统和Linux系统等服务产生的数据并呈现给用户的方法。使得用户能够通过监控平台来操作海量存储系统，简化用户对于海量数据存储系统的使用，并且提高安全性。20270 关键词 海量数据存储 监控平台 集群文件系统 毕业设计说明书（论文）外文摘要 Title The Monitoring System Based on Mass Storage Abstract With the rapid development of mass data mining and applying technology, it will inevitably lead to the problem of mass data storage.How to store huge amounts of data,And the secure and efficient control of the storage environment,has become one of the main issues of concern.Currently,There are many open source clustered file system can provide mass data storage services，and their performance is different.Besides,Most of those open source clustered file system based on Linux system and without Graphical User Interface.It’s neither convenient nor secure for those users who are unfamiliar with Linux system.Even for those users who are familiar with Linux system will find it Unfriendly. In this paper we focus on the method of building mass data storage monitoring system based on open source clustered file system.How to capture and analyze the data provided by file system or Linux system then presented to users.User can operate massive data storage system via this monitoring system.Simplify the use of massive data storage system,And improved security. Keywords Mass data storage Monitoring platform Clustered file system 目 次 1 绪论 1 1.1 研究背景及意义 1 1.2 GlusterFS的简介 1 1.3 GlusterFS的原理以及特性 2 1.4 本课题目标 2 2 海量存储服务 3 2.1 海量存储服务整体架构 3 2.2 部署环境 4 2.3 监控体系与存储体系的整合 4 3 海量数据存储相关概念说明 6 3.1 RDMA（远程直接数据存取） 6 3.2 Infiniband 6 3.3 Samba 6 3.4 GlusterFS相关术语 7 3.5 三种卷类型 7 4 基于Webservice的监控体系架构 10 5 服务组件 11 5.1 监测组件 11 5.2 日志组件 18 5.3 控制组件 20 5.4 组件使用总结 22 6 服务层 23 6.1 日志收集器 23 6.2 探针 25 7 表示层(海量存储监控平台) 29 7.1 Bootstrap 29 7.2 Jquery 30 7.3 ECharts 30 (责任编辑：qin) |