分布式系统的海量数据存储技术研究
时间:2017-04-11 13:15 来源:毕业论文 作者:毕业论文 点击:次
| 摘 要：随着计算机技术和计算机网络的快速发展，传统的数据存储与管理模式已经很难满足日益增长的数据在很多方面的需求，如何高效存储海量数据成为又一个研究热点。本论文通过对分布式计算的BigTable、NFS、Map-Reduce等几个典型算法的研究，分析了各个算法在海量数据存储中的优劣，同时对分布式环境下海量数据的存储在不同领域中的应用进行描述，最后对海量数据存储未来发展的趋势进行了展望。7022 关键词：海量数据;分布式系统;数据存储;分布式服务 Research on Massive Data Storage Technology of Distributed System Abstract：As the rapid development of computer technology and computer network, traditional data storage and management modes cannot satisfy the increasing requirement in many variety of data, as a result ,how to store the massive data in high efficiency becomes a new research hotspot. In this thesis, the pros and cons of each algorithm are analyzed in massive data storage by researching several typical algorithm ——BigTable、NFS、MapReduce in distributed computing. and it also describes the implement of massive data storage in different field under the distributed development, as well as prospects the future trend of development of the massive data storage. Key words：Massive Data；Distributed System；Data Storage；Distributed Service 目 录 摘 要 1 引言 1 1.研究现状和意义 2 1.1国内外研究现状 2 1.2研究意义 2 2.海量数据存储 2 2.1海量数据存储的一般原则 3 2.2海量数据存储模式 3 2.3面临的问题 3 3.分布式技术概述 3 3.1分布式技术的分类 3 3.2分布式系统 5 4.分布式环境下的海量数据存储相关算法 5 4.1BigTable 5 4.2网络文件系统NFS 6 4.3Map-Reduce算法 7 5.分布式环境下数据存储的应用与发展趋势 9 5.1 分布式环境下数据存储的应用领域 9 5.2 海量数据存储的发展趋势 10 6.总结 11 参考文献 11 致谢 12 基于分布式系统的海量数据存储技术研究引言 随着科学技术的飞速发展，越来越多的数据不断地产生，并且随着时间的延续呈几何性增长。同时，数据的存储量级也在急速增长，其相对应的海量数据存储技术也越来越引起人们的重视。许多企业开始将数据存储分离出来作为独立的项目进行管理。高可靠性、高通用性、高扩展性、大容量是分布式存储以比传统数据优秀的特点，正因为这些特点，分布式存储成为企业实现提高效率、降低成本的重要选择。 1.研究现状和意义 1.1国内外研究现状 1.2研究意义 2.海量数据存储 当今是一个信息大爆炸的时代，网络的广泛使用更加剧了信息爆炸的速度。信息资源的爆炸性增长，对存储系统在存储容量、数据可用性以及I/O性能等方面提出了越来越高的要求[2]。 海量数据是指数据量极大，内容记录多的数据，往往是TB级、EB级的数据集合。存储这些信息不但要求大量存储容量的存储设备，且还需要大规模数据库来存储和处理这些数据，在满足通用关系数据库技术要求的同时，更需要对海量存储的模式、数据库策略及应用体系架构有更高的设计考虑。 2.1海量数据存储的一般原则 (责任编辑：qin) |