计算机技术的快速革新,全球化经济快速发展,伴随着各行各业所产生的数据都是以线性增长,大量的数据需要新的方法来处理和分析研究。动辄数据量达到数百TB甚至数十到数百PB的数据规模的公司/企业已是不胜枚举了。传统的计算机技术和信息处理能力已经不能胜任继续对大数据进行处理了。因此,追求对大数据处理有效的技术、方法和手段已经成为我们所有人都需要研究的对象了。对于百度这样的大公司目前的总数据量已经高达100PB;而对于Twitter软件来说,每天发布的消息也超过2亿,对于中国最热的新浪微博来说,每天的发帖量可达到了将近8000万条;中国移动是中国手机生意业务商之一,一个省一个月的通话记录也可达0.6PB~1.1PB;对于交通监控数据来说,一个稍微大一点的省会城市中,公安局监控的道路车辆行驶数据三年时间里也高达200亿条、总量120TB。相对而言,大数据已经不在是我们口中随便说说而已了,已然成为我们必须要面的问题,和机遇了,随解决了这个问题,社会将再次进入快速发展阶段。
数据量的增大,给我们带来了巨大的挑战,也同样给我们带来了机遇,挑战是在面对这样庞大的数据量时,我们要如何从中获取到对于我们有利的数据?我们要怎么解决其中的查询效率问题?相对于机遇而言:我们如果能够通过研究,分析和总结,解决掉这个问题,那么我们将为整个国家,乃至全球都能做出巨大打变革。
1.2 课题开发意义及目的文献综述
随着大数据时代的到来,智能化的工业控制中,远程的PLC会将对应设备的当前状态信息定时上报给服务器,以便各类信息能够在服务器端进行综合处理。但是随着时间的推移,大量的上报数据将使得数据的查询效率变慢,该课题的目的在于研究和解决数据查询的效率问题,以确保信息能够及时查询,提高工作效率。
1.3 国内的相关研究
1.3.1 大数据的研究
在2012年的12月份,政府将数据分析软件的研发和相关数据服务指定成为了专项指南之一;刚过一年,政府科研部将大数据指定成为了973基础研究计划的一份子。同时,大数据的研究也成了国家自然基金指南中管理学部、信息学部和数理学部的重点项目。全国各地也都纷纷建立起了相关的研究机构。如2012年12月,就大数据的研究方案正式启动,中国各个大学也不甘落后的建立了从事数据科学研究的机构,其中包括了中国科学院,上海复旦大学,北京航空航天大学等名牌大学。
1.3.2 数据价值
以大数据为根基的大型企业已在我们的世界如雨后春笋般涌现,像百度、阿里、大智慧等等这样以数据为基础的研发型公司。带领着全球的数据行业的发展和进步。随着技术的越来越成熟,数据的分析和挖掘也成了我们生活中的随处可见的一种职业。作为设备起头的华为,当然也是不甘落后的,创造了很多的对大数据的存储设备和提出了很多的解决方案。
1.3.3 数据园区建设
在大型数据研发企业和公司的带领下,中国各个地区的数据园区也随之孕育而生,上海市政府重点开发项目上海智慧岛数据产业园,用于吸引相关数据研发及服务公司的投资和发展,以及秦皇岛等重点数据开发园区,北京地理信息科技开发园区等等众多的产业园区也正在招商和建设中。
1.4 开发环境与开发工具
在我们产品的开发过程中,对于开发环境和开发工具的选取,也是非常关键的一个步骤,它决定了我们后期的产品的扩展性和可移植性。下面让我给大家简单介绍一下本次课题的开发环境和我们所使用的开发工具。来!自~优尔论-文|网www.youerw.com