。例如 在大数据背景下,新型数据库的开发,大规模存储设备的研制,云存储服务方案的提出等,大数据相关技术的更新换代为大数据价值的快速、有效挖掘提供了技术基础。
与此同时,大数据以及其相关技术的发展也将成为改变目前人类生产以及生活方式的重要基础。如美国国家科学基金会( National Science Founda-tion,NSF) 科学家 Helen Gill 在 2006 年提出了信息物理系统( Cyber-Physical System,CPS) 的概念[13],
CPS 将实现感知基础上的人、机、物的深层融合,而基于大数据的分析是 CPS 系统得以智能运行的关键; 2013 年举办的“Hannover Messe 2013”上,由产官学专家组成的德国“工业 4. 0 工作组”发表了最终报告———《保障德国制造业的未来: 关于实施“工业4. 0”战略的建议》 宣告以物联网和制造业服务化为特征的第四次工业的到来,其强调第四次工业将以大数据分析以及 CPS 为基础,最终实现“智能工厂”与“智能生产”,解脱对人的依赖性。以上无论是 CPS 还是工业 4. 0 的提出,其本质都是制造业基于数据分析的转型,基础都是大数据的分析。由此可见,大数据的发展以及有效运用将引起人类生产以及生活方式的巨大变革,只有在大数据背景下迅速抓住机遇,并将其转化为决策信息,才能在未来市场以及科技的竞争中取得胜利。
虽然目前大数据在商业领域已经得到广泛关注,相关概念愈炒愈热,但是对于有效的大数据处
理技术体系认识不足,且并未清晰阐述大数据在工业领域、科学领域的发展趋势。因此,本文在具体介绍大数据内涵的基础上归纳总结了大数据处理 ( 包含大数据采集、存储以及挖掘等) 的技术体系,并从数据科学、工业 4. 0 以及 CPS 的角度,对大数据的发展进行了展望。
2 大数据内涵
2. 1 大数据定义
大数据自提出至今得到广泛关注,其并无统一的定义,由于大数据是相对概念,因此目前的定义都是对大数据的定性描述,并未明确定量指标。维基百科中指出,大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间限制的数据集 全球著名的管理咨询公司 McKinsey 则将数据规模超出传统数据库管理软件的获取、存储、管理以及分析能力的数据集称为大数据 研究机构 Gartner 将大数据归纳为需要新处理模式才能增强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 徐宗本院士则在第 462 次香山科学会议上的报告中,将大数据定义为“不能够集中存储、并且难以在可接受时间内分析处理,其中个体或部分数据呈现低价值性而数据整体呈现高价值的海量复杂数据集 ”。
虽然以上关于大数据定义的定义方式、角度以及侧重点不同,但是所传递的信息基本一致,即大数据归根结底是一种数据集,其特性是通过与传统的数据管理以及处理技术对比来突显,并且在不同需求下,其要求的时间处理范围具有差异性,最重要的一点是大数据的价值并非数据本身,而是由大数据所反映的“大决策”、“大知识”、“大问题”等。
2. 2 大数据产生
“大数据”并不是一个空的概念,其出现对应了数据产生方式的变革。如果从事件发生的三要素来看,需要具备时间、地点以及人物要求,事件才能完整。但是对于“大数据”而言,其产生方式已经分别在这三要素上突破了限制,即传统数据产生方式的变革导致了具有 4V 特性的“大数据”的出现。为此,本小节将从事件发生三要素的独特视角,清晰、全面地分析大数据产生的特点以及变化。 大数据内涵技术体系与展望(2):http://www.youerw.com/zidonghua/lunwen_199900.html