基于Hadoop的大数据集并行挖掘技术研究
关键词 数据挖掘；大数据集；并行算法；Hadoop
毕业设计说明书（毕业论文）外文摘要
Title Research on Parallel Mining Large Dataset Based on Hadoop
Abstract
In science (astronomy, biology, high-energy physics, etc.), computer simulation, the field of Internet applications, e-commerce, data showed a rapid growth trend. Currently, the storage and processing of large data sets and large data sets has become a new challenge for many companies face, how can a more rapid, efficient and cost-effective way to tap the valuable data from the mass, understandable knowledge to help businesses decisions faced by the data mining technology to become a new topic. Hadoop-based distributed computing platform, gives one for mining large data sets of parallel algorithms, unlike other algorithms that scale where it needs to process the data, and high efficiency. The algorithm of the original large unstructured data sets were analyzed to find its own rules from large amounts of data, so that people can find useful information in the huge repository.
Keywords Data mining; Large dataset; Parallel algorithm; Hadoop
目 次
1 绪论1
1．1 课题的背景和意义1
1．2 研究现状2
1．3 论文主要工作4
2 hadoop及数据挖掘概述6
2．1 hadoop介绍6
2．2 数据挖掘概述10
3 hadoop单机版环境的搭建13
3．1 硬件描述13
3．2 软件描述13
3．3 hadoop单机版环境的搭建过程13
4 基于hadoop二度人脉挖掘算法的设计与实现14
4．1 基于hadoop二度人脉挖掘的应用背景及意义14
4．2 基于hadoop二度人脉挖掘算法的设计14
5 基于hadoop聚类算法的设计与实现18
5.1 基于hadoop聚类算法的设计18
5.2 K-Means算法概述18
5.3 基于hadoop的并行k-means聚类算法设计与实现20
结论22
致谢23
参考文献24
图2.16
图2.28
图2.39
图2.411
图3.113
图4.115
图4.216
图5.119
图5.219
1 绪论
1．1 课题的背景和意义
当前的时代是一个数据无处不在的时代，根据IDC的预测，全世界的数据量每隔18个月就可能翻一倍，预计到2020年前后，整个世界数据的总量将会增长44倍,达到35.2ZB。数据可能来自用户的购买交易记录、手机的GPS信号、用于收集气象信息的传感器、发布社交媒体的网站、传感器导航设备等非传统IT设备产生的数据等各个方面。这些数据的爆炸性增长，使得数据正在充斥着整个网络，整个世界，这意着，我们已经步入了大数据的时代。
大数据是指难以实现存储、搜索、分析、共享和可视化的大型数据集。一般而言，大数据集的数据量可能超过了传统数据仓库的数据容量和处理能力。当前世界的数据量正以惊人的速度激增，例如，飞机每飞行30分钟就能采集10TB以上的传感器数据。常规的结构化数据仓库的容量一般为TB和PB级，而大数据的数据量则为PB、EB级，甚至很可能达到ZB级。除了容量巨大以外，针对大数据的分析技术还需要处理数据内容和数据结构的不可预测性等问题。这些分析技术需要过滤掉价值低或密度低的数据，挖掘出价值高或密度高的数据。