大数据分析挖掘算法实现-平台的监控(3)
时间:2018-08-09 16:46 来源:毕业论文 作者:毕业论文 点击:次
1.4 名词解释 HDFS 这是大数据存储的物理基础。 它是一个分布式文件系统，擅长存储单个大文件。 Hive 对MR进行了SQL封装的一个实现。 如果数据是结构化并且很规整，那么可以直接使用Hive，以允许SQL的方式来生成报表。 HBase 基于HDFS的一个Big Table的实现。 它是基于列的数据库，可以存储海量的数据。 可以用key的方式快速检索出数据，也可以用Scan的方式获取一批数据。 当数据是海量的，且格式容易变化的时候可以采取这个方案。 MapReduce 是一种编程范式，适合分布式计算，提倡并行思想 。 Map是对数据映射到另一组数据，而reduce则是以一定的方式将一组数据进行计算求值。 Gmod 数据采集器，位于每个Node上。 Gmetad 数据混合收集器，每个cluster都有一个，便于构建多级网络。 1.5 论文结构 论文由 七个部分组成，第一章主要讲述了大数据时代来临，发展大数据相关技术已是大势所趋的背景，在这种背景下国内大数据相关技术却令人担忧，在大量的分析下，得出了本文的主要工作和选题背景。 第二章主要研究了课题需要用到的平台，第三章则是重点了解当前监控的现状，对几个涉及到的监控软件进行了研究和对比，最终选择比较适合的工具。第四章则是为了验证前面的结论，证明它们的适用性，搭建平台，配置环境，在本地主机上运行它们、使用它们，发现问题。第五章总结收获，提出建议。 (责任编辑：qin) |