基于海量存储的监控系统设计(2)
7.4 ssh(Struts+spring+hibernate) 30
7.5 用户管理 30
7.6 站点管理 30
7.7 日志管理 30
7.8 监控系统 31
7.9 节点管理 31
7.10 个性信息定制 32
7.11 监控系统对于卷的管理 32
7.12 监控系统对于节点的管理 33
7.13 监控系统对于samba服务的控制 34
8 数据库设计 35
8.1 gm_site 35
8.2 gm_user 35
8.3 gm_status 36
9 用户访问海量文件服务 37
9.1 windows用户访问海量存储 37
9.2 Linux用户访问海量存储 37
10 总结和展望 38
结 论 39
致 谢 40
参考文献41
1 绪论
随着海量数据挖掘与应用技术的发展，越来越多的场景需要用到海量数据存储技术。方便，高效的海量数据存储平台成为人们的关注方向。本章首先对课题研究的背景及意义进行简略介绍，并且简要介绍一下现在流行的的一些支持海量数据存储的分布式文件系统以及本课题研究所选取的文件系统，最后介绍一下监控系统的作用。
1.1 研究背景及意义
当前，由于图像高清、网络传输、云化存储，智能应用平台等技术的使用，数据呈现出越来越“大”的趋势，普通的文件系统已经无法满足市场需求，于是一批相应的分布式文件系统由此产生。由于要适用于海量数据存储，普通分布式文件系统显然达不到这个要求，这批新产生的分布式文件系统因为能协同多个节点工作以提供更高的性能、更高的可用性以及实现均衡负载的文件系统的特性而被称为集群文件系统。如今海量存储方面比较著名的集群文件系统有适用于大文件存储的GlusterFS，Lustre；适用于小文件的Ceph；以及Google File System、蓝鲸集群文件系统等。其中由于GlusterFS在大文件存储性能上的优势而广泛应用于监控视存储频等大文件存储领域。
1.2 GlusterFS的简介
GlusterFS（Gluster File System）是一个可以扩展到PB级别的开放源代码的分布式集群文件系统。（实际上可扩展到72BB）能够处理数以千计的存储节点。GlusterFS所形成的集群可以通过RDMA（由infiniband技术支持） 或者TCP/IP互联存储构建块，将磁盘和内存资源聚集在一个单一的命名空间下以管理数据。GlusterFS是基于用户空间可以堆叠设计的，在不同的工作负载下均可以表现出出色的性能。GlusterFS可以简单搭建成一个集群，将集群中所有机器的存储资源集中起来供用户使用，对于用户来说集群是透明的，用户不需要关心自己的文件具体存储在哪台机器上。此外GlusterFS提供建立复制卷的方法，可实现数据的冗余备份，保证了用户数据的安全性。现在，已经有不少公司开始使用GlusterFS，建立具有自己的特色的海量存储服务。
1.3 GlusterFS的原理以及特性
在文件系统中有元数据，用户通过获取元数据来对特定的文件进行编辑，以定位文件在文件系统中的位置，获取文件的相关属性等。而gluster采取根据文件路径和文件名字的弹性哈希算法动态生成类似元数据的信息，比从任何地方获取元数据的方法要快，并能真正的实现线性拓展，并且避免了同步元数据信息所带来的各种风险。此外，当文件数目较多时，hash算法能一定程度上保证文件分布的均衡性，减轻单一服务器的读写压力，实现负载均衡。