分布式系统的海量数据存储技术研究
关键词：海量数据;分布式系统;数据存储;分布式服务
Research on Massive Data Storage Technology of
Distributed System
Abstract：As the rapid development of computer technology and computer network, traditional data storage and management modes cannot satisfy the increasing requirement in many variety of data, as a result ,how to store the massive data in high efficiency becomes a new research hotspot. In this thesis, the pros and cons of each algorithm are analyzed in massive data storage by researching several typical algorithm ——BigTable、NFS、MapReduce in distributed computing. and it also describes the implement of massive data storage in different field under the distributed development, as well as prospects the future trend of development of the massive data storage.
Key words：Massive Data；Distributed System；Data Storage；Distributed Service
目 录
摘 要 1
引言 1
1.研究现状和意义 2
1.1国内外研究现状 2
1.2研究意义 2
2.海量数据存储 2
2.1海量数据存储的一般原则 3
2.2海量数据存储模式 3
2.3面临的问题 3
3.分布式技术概述 3
3.1分布式技术的分类 3
3.2分布式系统 5
4.分布式环境下的海量数据存储相关算法 5
4.1BigTable 5
4.2网络文件系统NFS 6
4.3Map-Reduce算法 7
5.分布式环境下数据存储的应用与发展趋势 9
5.1 分布式环境下数据存储的应用领域 9
5.2 海量数据存储的发展趋势 10
6.总结 11
参考文献 11
致谢 12
基于分布式系统的海量数据存储技术研究引言
随着科学技术的飞速发展，越来越多的数据不断地产生，并且随着时间的延续呈几何性增长。同时，数据的存储量级也在急速增长，其相对应的海量数据存储技术也越来越引起人们的重视。许多企业开始将数据存储分离出来作为独立的项目进行管理。高可靠性、高通用性、高扩展性、大容量是分布式存储以比传统数据优秀的特点，正因为这些特点，分布式存储成为企业实现提高效率、降低成本的重要选择。
1.研究现状和意义
1.1国内外研究现状
1.2研究意义
2.海量数据存储
当今是一个信息大爆炸的时代，网络的广泛使用更加剧了信息爆炸的速度。信息资源的爆炸性增长，对存储系统在存储容量、数据可用性以及I/O性能等方面提出了越来越高的要求[2]。
海量数据是指数据量极大，内容记录多的数据，往往是TB级、EB级的数据集合。存储这些信息不但要求大量存储容量的存储设备，且还需要大规模数据库来存储和处理这些数据，在满足通用关系数据库技术要求的同时，更需要对海量存储的模式、数据库策略及应用体系架构有更高的设计考虑。
2.1海量数据存储的一般原则