分布式文件系统的设计与实现
时间:2018-07-21 14:02 来源:毕业论文 作者:毕业论文 点击:次
| 摘要21 世纪以来，伴随着互联网技术快速发展的同时，互联网中的数据量也呈现爆炸式的增长。最近几年，云计算和大数据的概念也越来越火热。而作为云计算和大数据的海量数据存储基础，分布式文件系统的重要性逐渐呈现出来。因此，研究具有高可用性、高性能、高扩展性以及大容量存储特点的分布式文件系统，具有较高的应用价值。 本文在研究国内外的论文的基础上，针对大量小文件存储的场景，自行设计了一种高可用、高性能、高扩展以及大容量存储的基于 Key-Value 模型的分布式文件系统。26007 毕业论文关键词 分布式 文件系统 Title The design and implement of distributed file system Abstract Since the 21st century, with the rapid development of Internet technology, the amount of data in the Internet also showed explosive growth. In recent years, the concept of cloud computing and big data has become increasingly hot. The mass data storage infrastructure as cloud computing and big data, the importance of distributed file system gradually emerged. Therefore, the study of high availability, performance, scalability and high-capacity storage characteristics of the distributed file system, has a high value. Based on research papers at home and abroad for a large number of small files stored scene, to design a Key / Value model is based on a distributed file system for high availability, high performance, scalability and high-capacity storage. Keywords distributed file system 目 次 1 绪论 1 1.1 课题背景及意义. 1 1.2 国内外研究概况. 2 1.3 研究内容和论文结构. 3 2 分布式文件系统理论 4 3 Fennec 分布式文件系统 . 5 3.1 FennecFS 概述 5 3.2 FennecFS 的基本组成和架构 5 3.3 FennecFS 的卷服务器. 7 3.3.1 卷服务器的接口 7 3.3.2 卷服务器的存储模型 7 3.3.3 卷服务器的卷组织和扩容方式 10 3.3.4 卷服务器的冗余机制 10 3.3.5 卷服务器的通信机制 11 3.4 Fennec 的主服务器 11 3.4.1 主要接口 11 3.4.2 发号器 12 3.4.3 数据分配及冗余策略 13 3.4.4 单点问题 13 3.5 系统负载及容量. 14 3.6 并发优化. 15 4 压力及性能测试 16 4.1 测试环境. 16 4.2 读文件测试. 16 4.3 发号测试. 17 结 论 18 致 谢 19 参 考 文 献 20 附录A 读测试详细结果 21 附录 B：发号测试 . 27 1 绪论 1.1 课题背景及意义 21 世纪以来，伴随着互联网技术快速发展的同时，互联网中的数据量也呈 现爆炸式的增长。最近几年，云计算和大数据的概念也越来越火热。而作为云 计算和大数据的海量数据存储的基础，分布式文件系统的重要性逐渐呈现出 来。因此，研究具有高可用性、高性能、高扩展性以及大容量存储特点的分布 式文件系统，具有较高的应用价值。 当今互联网企业中，需要大容量存储业务的，大多分为大量几十 MB到若 干 GB量级的大文件存储，例如优酷、Youtube等视频网站；另一种就是大量文 件大小只有若干 KB到若干 MB的小文件存储，例如大量的图片分享、电子邮 件附件和百度云等云存储网站。 传统的单机存储系统的问题之一在于存储能力达不到目前的需求。互联网 (责任编辑：qin) |