2.1大数据概念和基本特点

（1）大数据的概念随着互联网的蓬勃发展，电子商务的日益兴盛，大数据越来越成为百姓关注的焦点与热点。大数据的发展起源于美国统计学家赫尔曼·霍尔瑞斯发明了一台电动器，利用该机器用时一年来完成了原本耗时八年的人口普查工作，开启数据处理新时代。随后，随着大数据库的组建，社交网络的激增，云计算技术的兴起大数据逐步发展成现如今炙手可热的话题。大数据是一个较为抽象的概念，至今仍未有确切的定义。在相关理论中大数据概念如下：大数据是指利用传统的数据库软件难以获取、储存、管理与分析的规模宏大的数据[1]，大数据是具有规模宏大、类型多样、快速获取与应用及提升数据分析真实性特征的数据集[2]。

由此可知，一方面，数据已经不仅仅是真实记录信息的载体，更大的价值是具有前瞻性和预见性，可以给经济发展和社会生产带来效益。另一方面，由于数据的庞大与复杂，数据又具有时效性与关联性，目前数据处理存在巨大挑战。

（2）大数据的特点

①数据量大：首先，随着互联网的普及，网络用户量激增，个人、政府、企业、机构几乎都在使用互联网，而如今信息获取方便，同时用户随意的点击、搜索、浏览都会产生庞大的数据。其次，近年来，图像、视频、三维扫描设备等的发展使得数据越来越真实，数据的描述能力不断增强，而数据量本身必将以几何级数增长[3]。

②数据类型多样:不同于以前看新闻、写邮件等结构化数据，现在大部分都是上传下载视频，发微信朋友圈、微博等非结构数据。非结构数据种类繁多，结构复杂，形成了数据多样性。

③数据处理快：数据的迅速产生、流动和消失要求对数据的处理必须及时迅速。数据处理快是大数据有别于其他数据的主要特点。

④数据价值密度低：由于大数据保留下来的是全部的原始数据，这使得有效信息的密度偏低。例如，微博热搜榜上的信息，对某些应用来说，其有效数据仅是信息内容本身，然而经过大量用户转发评论，产生了比有效数据本身庞大许多的数据，使得有效数据占比微乎其微，导致价值密度偏低。