本课题最终成果为多源图像融合信息感知系统。在军事方面，可安装在航母、预警机等大型军事平台上，提供全波段、全天候、全被动式的侦查探测手段。在民用方面，可用于物联网、安全监控、海上搜救和森林防火等多个领域。

1.2  研究与发展现状

2  多源图像信息融合系统总体设计

2.1  现有图像融合系统研究存在的主要问题

    近年来，随着人们在图像融合领域不断地探索与研究，各种各样的图像融合系统也逐步被开发出来。然而，现有的图像融合系统依然存在着许多的问题与不足。其中，最主要的问题有两个，即融合系统探测波段不全面和异类图像的实时配准较为困难。现在最普遍的图像融合系统是基于中波红外或者长波红外与可见光的图像融合，这类系统探测范围只涵盖了两个波段，难以满足更高的探测要求。由于异类图像不含有同类的特征，因此通过特征匹配的方法难以进行空间配准。另外，传统图像配准方法涉及到4个参数（x方向和y方向的平移、缩放），这增加了图像配准的复杂度，也降低了图像配准的鲁棒性。

2.2  系统的基本原理

多源图像融合系统的总体设计如图2.1所示，主要由前端多传感器成像系统、数据传输系统和后端处理显示系统构成。前端多传感器成像系统由紫外探测器、CCD摄像机、近红外摄像机（0.9～2.6μm）以及红外热像仪（3～5μm和8～14μm）等五种成像探测器组成，探测范围覆盖紫外至远红外多个波段。数据传输系统由光端机和光纤组成，后端处理显示系统包括主控计算机和数字图像存储系统。前端成像系统完成图像数据的采集，传输系统完成前端成像系统和后端处理显示系统之间数据交换，后端处理显示系统对采集到的数据进行处理，并实现操作人员对系统的整体控制。

图2.1 多源图像融合系统的总体设计

后端处理显示系统中的主控计算机为整个系统的核心，其中集成了系统所有的软件程序，包括图像预处理程序、图像配准程序、图像融合程序、目标融合检测程序、系统总体控制程序、故障自检程序以及人机交互软件等，负责系统所有功能的实现。图2.2给出了图像融合处理程序的工作流程，通过图像融合，我们可以得到背景清晰、目标明显的视频图像。

图2.2 图像融合工作原理

图2.2中，前端探测系统中的探测器采集到的视频信号将输出到图像预处理单元转化为数字视频。经过采集后的紫外信号和CCD视频将进行时空滤波降噪处理，红外视频将进行自适应图像增强，之后将经过处理的多源图像进行图像的配准融合等处理，融合后的数字视频输出至视频压缩电路。融合电路同时采用基于多源数据融合的目标检测和跟踪方法，对可疑目标进行检测和跟踪，并将相应信息也传输至传输系统。传输系统将会把视频数据传送到后端显示与控制系统。显示与控制系统将显示前端的监控视频，同时也可以向前端探测系统发送指令。

2.3  系统构成文献综述

1) 多源传感器成像系统

前端探测系统由紫外探测器、CCD摄像机、InGaAs近红外（0.9~2.6μm）、热像仪（3~5μm和8~14μm）五种探测系统组成的分布式孔径系统，五种探测器光学系统为平行光轴系统，主要用于拍摄同一场景不同波段的图像信息。

2) 跟踪架

跟踪架主要用于对目标进行跟踪拍摄，是构成多源图像融合信息感知系统的基础，提供方位、俯仰运动，并提供传感器的通用机械接口。跟踪架由精密轴系、照准架、方位俯仰力矩电机、方位俯仰编码器、调平机构等组成。跟踪架主要精度指标，方位轴系晃动2″，俯仰轴系晃动2″，为保证以上精度要求，方位俯仰轴系均采用密珠轴系。