1.1 课题来源以及介绍
近些年来随着网络和嵌入式技术的发展，全球掀起了一股研究和应用物联网技术的热潮。从智能家居到智慧型城市到处都有物联网的身影。我国近几年也加大了物联网技术研究的投资力度，希望通过政府的支持来提高研究者的热情。
本课题源自由无锡政府投资的无锡市新区智慧型城市管理的一期试点工程。该工程旨在运用当前物联网技术方面比较成熟的RFID识别、GPS定位技术、视频监控、各种环境感知传感器等完成对于城市基本状况和城市管理相关工作的监控和自动监测报警和控制等工作。从而实现城市监测管理的智能化，减少人员工
作量，提高工作效率。在智慧型城市系统中存在RFID阅读器，GPS定位仪、土壤监测仪等大量的各式各样的传感器，这些传感器日夜不提的监测着城市得运转状况为城市管理系统提供海量的数据。在传感器的应用过程中不可避免的要涉及到数据质量的问题。传感器监测的原始数据带有噪声不能直接作为城市管理系统的原始数据，使用不准确的数据可能得出不正确的结论。因此必须对这些海量的数据进行清洗确保其准确性。本课题对智慧型城市应用背景下的数据清洗问题做了初步系统的研究。主要通过逻辑上的数据清洗过程来提高数据的质量。
本文针对智慧城市应用的背景，对传感器数据的清洗在前人研究的基础之上提出了一些适合于应用背景特色方法。在数据清洗中滑动窗口技术是使用比较多的一种技术[5]。然而他有着自身不可避免的窗口后端产生的数据滞后于监测时间的缺陷。曾经有通过伪事件的方法来解决不连续数据流窗口移动时间不确定存在较大延时的问题[6]。但是滑动窗口固有的延时并没有能够得到很好地解决。传统的滑动窗口方式只会在窗口的尾部输出数据。从数据进入窗口到得到处理结果有较大的时间延迟，而且这种延迟和数据流中数据之间的时间间隙有关系。滑动窗口的移动是由新数据的到达来触发的，窗口另一端输出数据的延时和窗口的宽度n以及数据之间的时间间隔t的乘积n*t成正比。在智慧型城市的应用中在对数据进行清洗保证数据准确性的同时保证数据的实时性也很重要。本文创新使用了前向预测型滑动时间窗口的方法，在新数据进入窗口之前预先利用窗口中的数据通过数据拟合的方式对即将到达的数据进行预测。当数据到达时直接比较得出结论，很大程度上保证了数据的实时性。传统的数据清洗模型都是利用统计分析的方法机械的对数据进行求平均值，求方差的方式进行数据清洗，忽略了决定一个数据之间的时间相关性和数值上的连续性。在智慧型城市应用背景下本文就数据冗余检查和异常值清洗创新的提出了基于时间轴数据拟合然后利用拟合结果判断和预测的方式。在传统的统计判断基础上考虑了时间因素和数据之间的关联性使得清洗更加具有针对性和准确性。在本文接下来的内容中将详细讨论智慧型城市应用背景下传感器数据的清洗。
1.2相关技术
物联网是现代计算机知识革命高级阶段的技术成果[7，8，9]。现代计算机知识革命起源于半导体集成电路的产生。两个诺贝尔物理学奖被授予给半导体集成电路领域内的研究人员。半导体集成电路是20世纪人类最伟大的发明。它以晶体管颗粒归一化技术，开始了超越18世纪产业革命的人类知识革命。18世纪蒸汽机的产业革命，以归一化的动力机械内核方式，将人类社会从农耕文明推进到工业文明。20世纪现代计算机的知识革命，以归一化的微处理器智力内核方式，将人类社会从工业文明推进到知识文明。相对于轰轰烈烈的蒸汽机产业革命，半导体微处理器的后台性、专业性、隐蔽性特点，形成了微处理器基础上现代计算机静悄悄的、空前伟大的革命。人们可以沿着现代计算机知识革命的历史路径寻找到物联网的技术源头。半导体集成电路基础上的微处理器奠定了物联网的智慧源头；通用微处理器的计算机网络形成了物联网的网络源头；嵌入式微处理器则是物联网的物联源头。 智慧城市管理系统中的传感器数据采集与清洗方法研究(3):http://www.youerw.com/jisuanji/lunwen_6748.html