公共安全图像与视频一键式质量增强与运动分析光流目标跟踪与分析(2)
本项目来自南京市公安局视频侦察平台项目，关键技术研究属于国家自然科学基金项目。针对目前低质量图像和视频在采集过程中存在的模糊、噪声、色彩失真、运动抖动等降质原因，研究公共安全图像与视频一键式质量增强与运动分析关键技术，并在C++环境下开发公共安全图像与视频一键式质量增强与运动分析的集成系统。本项目为团队项目之子项目，旨在研究公共安全图像与视频一键式光流目标跟踪与运动分析以及视频浓缩。
1.2 研究现状
为了提高LK光流法的鲁棒性、扩展LK光流法的使用邻域以及提升LK光流法处理的速度，研究者提出了很多LK光流法的改进算法、在LK光流法中加入其他算法以及通过硬件改善来加速光流法的处理。下面将从算法的改进和硬件的改进两方面来说明目前的研究成果。
1.2.1 算法改进
在研究光流原理的基础上，通过改进的Lucas-Kanade光流法实现运动目标的检测和跟踪，首先对图像进行预处理（包括图像的灰度化、阈值分割和边缘提取）；然后通过改进的基于金字塔的Lucas-Kanade光流估计法对运动目标进行检测；最后，求取目标特征点的重心和各点到重心的距离，通过设定合适的阈值来画出目标的跟踪矩形框，从而完成目标的跟踪[1]。
由于运动物体本身存在位移、旋转、缩放等情况，基于Lucas-Kanade光流估计法进行目标跟踪时常常会影响到最终目标跟踪结果的准确性，于是提出一种新的算法，该算法先使用改进的PSO估算出一组参数，然后把估算出的参数送回到光流法中再更新一次，从而有效地计算出更加合适的参数[2]。为了解决图像背景复杂并存在伪装色时运动目标的跟踪困难的问题，提出一种基于运动信息与梯度方向直方图的跟踪方法，首先通过金字塔Lucas-Kanade光流估计法来获得视频帧图像中运动目标的范围；然后根据目标区域的灰度特征与Hog特征构建特征向量，最后沿着运动的主方向在速度大小范围内进行二分法匹配，从而确定出跟踪目标的准确位置[3]。对于复杂运动、大位移以及复杂背景条件下的光流跟踪仍然不是很理想，Ryan Kennedy和Camillo J. Taylor提出了基于几何闭塞估计和多帧融合技术的光流跟踪框架[4]。
在传统光流估计方法中加入稀疏表示进行目标跟踪，可以较好地适应运动物体的外观变化、同时又具有较强的抗遮挡能力、鲁棒性强，首先在视频序列的每一帧中使用FAST和Harris算法为光流算法采集运动目标的角点；然后使用基于后向跟踪-形心配准方法的光流算法对跟踪目标完成粗略定位，即在当前帧的粗略定位处应用仿射变换产生N个候选区域；最后应用稀疏表达技术计算出与原始目标区域匹配率最高的仿射变换区域做为最终选定的目标跟踪区域[5]。通过将双边滤波处理与中值光流法相结合，建立起一种自适应的红外目标跟踪模型，从而进行稳定又准确的运动目标跟踪，同时通过实验结果说明了此算法能够有效的跟踪遮挡或者变形的物体，具有实时性强、准确率高、鲁棒性好的优点[6]。
金字塔 Lucas-Kanade光流法不仅可以运用于运动目标跟踪，也可以运用于提取2D视频中的深度信息，具体操作步骤如下：（1）通过计算当前视频帧图像的最大运动矢量来决定所需构建的金字塔层数；（2）在每一层金字塔中，利用 Mean-Shift图像分割法进行分割后得到的信息来去除本次迭代计算中得到的运动矢量中的坏点；（3）自适应地调整每一层金字塔的迭代次数，以达到降低时间复杂度的目的；（4）通过统计图像分割中每类的深度值来对所得到的深度图像进行优化，使得最终得到的深度图中物体边缘更加清晰，最终实验结果表明，利用该算法得到了更加清晰的场景深度边缘信息，深度图中的坏点明显减少，在降低时间复杂度的同时，得到了较好的深度图[7]。将基于光流的观测模型用于粒子滤波跟踪中，将为更高层次的图像处理提供证据来源[8]。