Hadoop国内外研究现状
时间:2017-02-08 13:03 来源:毕业论文 作者:毕业论文 点击:次
| 在智能交通信号控制系统中，交通的状态判别算法被用来进行城市道路或者高速路的实时交通状态的判断。使用这些算法可以对交通数据进行分析，根据挖掘数据的结果来判断目前交通系统中的运行情况，根据不同的状态使用不同的控制策略。因此数据挖掘算法的正确性和稳定性在智能交通信号控制系统中起到了至关重要的作用。 近年来数据挖掘算法的研究与开发慢慢受到重视，国内外学者已经提出了多种交通流预测方法，如神经网络模型、ARIMA模型、贝叶斯网络、非参数回归模型等。但是交通数据受到非常多因素的影响，在特殊的情况下的交通数据与平时的交通数据差异就非常大，而传统、单一的预测算法很难适应交通数据的高复杂性、不确定性、随机性。5574 相对Hadoop的发展便显得非常的火热。2008年1月，Hadoop已成为Apache顶级项目。2008年2月，雅虎宣布搭建出世界上最大的基于Hadoop的集群系统—Yahoo! Search Webmap，另外还被广泛应用到雅虎的日志分析、广告计算、科研实验中；Amazon的搜索门户A9中的商品搜索的索引生成就是基于Hadoop完成的；互联网电台和音乐社区网站Last.fm使用Hadoop集群运行日志分析、A/B测试评价、AdHoc处理和图表生成等日常作业；著名SNS网站Facebook用Hadoop构建了整个网站的数据仓库，它目前有320多台机器进行网站的日志分析和数据挖掘。 UC Berkeley等著名高校也对Hadoop进行应用和研究，以提高其整体性能，包括Matei Zaharia等人改进了Hadoop的推测式执行技术并发表了Improving MapReduce Performance in Heterogeneous Environment；Tyson Condie等人改进了MapReduce体系，允许数据在操作之间用管道传送，开发了Hadoop Online Prototype（HOP）系统，并发表了MapReduce Online。毕业论文 2008年之后，国内应用和研究Hadoop的企业也越来越多，包括淘宝、百度、腾讯、网易、金山等。淘宝是国内最先使用Hadoop的公司之一；百度在Hadoop上进行广泛应用并对它进行改进和调整，同时赞助了HyperTable的开发。总之，互联网企业、电信电力企业是Hadoop在国内的主要使用力量。同样的，很多科研院所也投入到Hadoop的应用和研究中，包括中科院、清华大学、浙江大学和华中科技大学等。正是因为Hadoop为开源框架，由此伴随Hadoop自身的飞速发展带动了其他相关项目的发展：分布式数据处理模式和执行环境、运行于大型商用机集群的MapReduce、分布式文件系统HDFS、分布式的数据库Hbase、提供分布式锁基本服务用于构建分布式应用的ZooKeeper等。 (责任编辑：qin) |