大数据平台分布式监控指标采集和分析系统的设计与实现
摘要在大数据的背景下，根据实际情况结合我们大学生的需要，通过采集大学生的信息并实现对这些数据的处理，进行实时反馈，帮助预测下一步行为。比如某学生要寻找自习教室，这是一个令人头疼的问题，如果我们有这样一个系统，可以轻松知道哪里的自习室人少，能方便的解决了我们目前需求。 本课毕业设计主要采用软件手段实现，做一个基于大数据下本校（）的学生行为分析和预测，并将结果进行可视化呈现。该系统实时获取学生的位置，经过处理的位置信息采用热度图像的方式直观的展现。 82996
毕业论文关键词大数据 实时任务 热度图像
毕业设计说明书外文摘要
Title Big data platform for distributed monitoring index collection and analysis, system design and implementation
Abstract Under the background of big data, according to the actual situation to meet the needs of our college students, college students through gathering the information and the realization of the data processing, real-time feedback, help predict behavior next。 For example a student looking for self-study classroom, it is a headache problem, if we have such a system, can easily know where study lounges are few, and can solve our current demand。 This class graduation design mainly uses the software method to implement, make one based on big data ( university of science and technology) under the university student behavior analysis and forecast, and the results are visual representations。 The system real-time access to the location of the students, after processing the location of the information we use the method of heat of the image display。
KeywordsBig data Real-time tasks Heat image
目 次
1绪论 1
1。1 研究背景与目的1
1。3 研究内容 3
1。4 组织结构 3
2系统需求分析 5
2。1需求概述 5
2。1。1用户需求 5
2。1。2功能需求 5
2。1。3性能需求 6
2。1。4运行平台 6
2。2需求建模 7
2。3本章小结 7
3总体设计 8
3。1设计目标 8
3。2基本技术方案 8
3。2。1Storm+Zookeeper框架 8
3。2。2Nginx+PHP后端和前端 10
3。2。3HTML+CSS+jQuery+Bootstrap前端交互 11
3。2。4服务器端与浏览器之间的JSON数据格式 12
3。3系统架构设计 13
3。4本章小结 14
4系统详细设计与实现 15
4。1获取数据 15
4。1。1采集GPS信息 16
4。1。2GPS信息处理 16
4。2Storm处理数据 16
4。3Web前端展示数据 17
4。3。1前端和后端的数据传送 18
4。3。2计算数据梯度 18
4。3。3计算数据密度 18
4。3。4回滚历史数据 18
4。4数据分析与预测 19
4。4。1根据数据密度分析与预测 19
4。4。2根据数据梯度分析与预测 19
4。4。3根据人流趋势分析与预测 19
4。5本章小结 19
5系统测试 20
5。1测试环境 20
5。2测试数据采集 20
5。3测试功能 21
5。4测试系统运行 24
5。5用户体验 25
5。6测试结论 25
6存在的问题和下一步工作 26
6。1存在的问题 26
6。2展望及下一步工作 26
结论27
致谢28
参考文献29
1绪论
大数据是我们这个时代特有的，早在2012年《New York Times》的一篇文章中写到，在21世纪的今天“BigData”已经来临，在人们从事的商业、经济及其他相关的领域中，行为的决策将日益基于大数据和大数据分析，而并非基于人们生活中积累的经验和单纯的直觉。然而真正意义上数据的规模已经是我们之前时代所不能想象的级别，数据规模呈现膨胀和爆炸式的增长，数据级别已经从TB级别跃升到PB，EB乃至ZB级别，据统计整个人类文明一共所有的数据，其中有90%多是在过去两年内产生的。但到了2020年时全人类的数据规模将达到今天的44倍。这样的趋势会随着人类社会的快速发展而更显得迅猛。而这些庞大的数据意味着什么呢？意味着蕴藏在数据中的巨大的价值，商业人士关注的是他的商业价值，研究人员重视的是数据本身的价值。也许也意义为着一种全新的致富途径摆着面前，抓住机遇成就伟大，大数据蕴含的价值堪比金子，因此对大数据的分析能力显得愈发重要。本次毕业设计是基于大数据平台分布式监控指标采集和分析系统的设计与实现。结合实际情况，完成在校学生流动数据采集和分析系统的设计和实现。