页码
图2-1 Nova与其它组件关系图 5
图2-2 Neutron表结构关系图 7
图3-1 MapReduce工作机制图 9
图3-2 Zookeeper工作机制图 13
图4-1 core-site配置文件
图4-2 hdfs-site配置文件 16
图4-3 mapred-site配置文件 16
图4-4 Hadoop进程操作命令图 17
图4-5 hbase-site配置文件 18
表清单
表序号 表名称 页码
表2-1 Openstack各组件及版本号 4
表3-1 Hadoop模块关系表 9
1 绪论
随着上世纪中叶,世界进入信息时代,数据已经成为了整个社会越来越重要的生产要素,涉及所有行业所有领域,与每个人都息息相关。无可置疑的,大数据时代已经是一股不可逆的大流。随着信息技术的进一步发展,大数据时代还会远吗?
所谓大数据,不单单指数据量的日益庞大,也意着数据渗透面愈发广泛,数据种类愈发繁多。面对这样的趋势,如何处理数据,如何存储数据,如何从偌大的数据量中挖掘出有价值、有研究意义的信息,成为了大数据时代来临后,一个非常重要、也必须放在首位考虑的课题。
数据量愈发庞大,以往的物理存储策略开始应付不来,无脑地增加经济投入购置存储设备或许是一个解决方案,然而成次方上升的维护成本必定让每一个决策者头疼。成堆的数据积压在存储设备中,却不知道怎么利用,只是白白占用了地方,消耗了资源,也必定在每个决策者脑中打了许多问号。
俗话说,时势造英雄。同样的,时代也催生新技术。随着大数据时代一步一步临近,许多大数据问题解决方案和新兴技术应运而生。Openstack和Hadoop便是其中毋庸置疑的主力军之一。
1.1 Openstack发展现状
Openstack,原先是世界著名数据分析公司Rackspace和美国国家宇航局NASA,分别贡献出了自己的Rackspace云文件平台代码和NASA Nebula平台代码,合作发布的开源项目。主要致力于主机虚拟化和私有云的管理。在整个大数据环境中,充当一个平台提供者,或者说是一个必要的、科学合理高度可用的环境的提供者。
Openstack实际出现已经有一些时日,整个技术平台建立在成熟可靠的技术之上。在面世后,经过了数年的技术验证和重重考验,不断完善自身,同时也不断有技术成熟的大公司自发加入进来,帮助研究提升Openstack的各方面能力,时至今日,Openstack已然成为了一把磨得锋利的宝剑,被业界众多巨头肯定和采用,成为了大数据时代中一颗闪耀的星。
Openstack是一个庞大的项目,其下包含众多组件,如虚拟化技术Nova、数据存储方案Swift、意在提供直观界面的Horizon、还有与另一炙手可热技术Hadoop配合使用的Sahara等。如此多的组件组合到一起,互相配合,各司其职,使得整个Openstack平台得以有条不紊地运行,为用户提供便利的大数据处理平台。 Openstack平台上Hadoop的部署与维护(2):http://www.youerw.com/jisuanji/lunwen_54564.html