大数据分析挖掘算法实现-平台的监控
时间:2018-08-09 16:46 来源:毕业论文 作者:毕业论文 点击:次
| 摘要当前社会，无论是在大型企业或者个人领域都会涉及与处理相关数据信息的问题，我们的生活被诸多的数据所包围，平台的监控正逐渐受到大家的关注，传统的监控方式由于实时性、安全性、扩展性以及访问量过大导致过载等问题不适合当前的监控。26792 本文结合自身到企业实习的经历，参与到数据监控这一块，研究了当前主流监控框架，对不同监控工具进行了分析和对比，最终选择ganglia和zabbix框架作为线上运行监控组件。一方面实现了监控，探讨了监控系统实现的原理；另一方面提出了自己的建议以及它们的不足。 关键词: 数据监控，ganglia，zabbix，Hadoop平台 毕业论文设计说明书外文摘要 Title Big Data Analytic mining algorithm Abstract Current society, whether large enterprises or inpidual areas involved with issues related to data processing, our lives are surrounded by a lot of data, monitoring platform is gradually being everyone's attention, the traditional way due to the real-time monitoring, security , scalability, and access leads to excessive overload problem is not suitable for the current monitoring. In this paper, the experience itself to internships, participate in the data monitoring this one, to study the current mainstream surveillance framework, different monitoring tools for the analysis and comparison, the final choice ganglia and zabbix framework as on-line performance monitoring components. On the one hand to achieve the monitoring, it discusses the principles of monitoring system implementation; on the other hand put forward their own proposals as well as their shortcomings. Keywords Big data, data monitoring, ganglia, zabbix, Hadoop platform 目次 1 绪论 1 1.1 大数据发展广阔前景 1 1.2 选题来源 1 1.3 研究目的和意义 2 1.4 名词解释 3 1.5 论文结构 3 2 Hadoop平台 5 2.1 Hadoop概述 5 2.2 使用Hadoop的原因 6 2.3 Hadoop平台组成 6 3 Hadoop平台监控工具分析 7 3.1 JMX 7 3.2 Nagios 8 3.3.1 Nagios工作原理 10 3.3 Splunk 11 3.4 Ganglia 14 3.5 Zabbix 15 3.6 各工具优劣示意图及选择监控工具的原因 17 4 监控实现 19 4.1 Ganglia 19 4.1.1 Ganglia的组成 19 4.1.2 实现监控准备 19 4.1.3 运行结果 22 4.1.4 Ganglia监控原理 24 4.2 Zabbix 26 4.2.1 运行准备 26 4.2.1 运行结果 28 4.2.3 zabbix监控原理 33 4.3 针对Zabbix产生的国内监控工具---Cat 33 4.3.1 准备工作 33 4.3.2 了解Cat 35 5 总结和展望 36 5.1 课题研究总结 36 5.2 课题研究后续工作 37 结 论 38 致 谢 39 参考文献40 1 绪论 1.1 大数据发展广阔前景 (责任编辑：qin) |