摘要条件随机场（CRF）是一种无向图模型，其中点代表状态，点直接的连线代表状态之间的转换关系，条件随机场的应用非常广泛，本文正是运用条件随机场来实现对道路场景图像的分类标注。首先将道路图像进行超像素分割，分割有很多种方法，本文利用了K-MEANS算法，将图像进行超像素分割。对于分割出来的图像，提取图像的各种特征，然后利用条件随机场模型对其计算，首先构造条件随机场模型，然后用已知的分类图像对CRF模型进行训练和评估，计算出模型特征函数的参数值，最后输入待标注图像，利用已知的CRF模型进行计算，从而实现对道路场景图像的分割。 27404
毕业论文关键词 条件随机场（CRF） 超像素分割 K-MEANS 算法 特征函数
Title Road Image Annotation Based on Condition Random Filed Abstract Conditional Random Fields (CRF) is an undirected graph model, which points represent the state, the direct connection point conversion on behalf of the state of relations between the CRFs is widely used, this paper is the use of conditional random to achieve road scene image classification criteria. First, the way the super-resolution image segmentation, There are many ways for segmentation, we choose superpixel segmentation based on K-MEANS algorithm. For the segmented image, extract various features of the image, and then use conditional random field to calculate, first construct conditional random, then known classification image of CRF model for training and evaluation model to calculate the characteristic function of the parameter values. Finally, the input image to be annotated, using the known CRF model is calculated to achieve the road scene image segmentation. Keywords Conditional Random Fields (CRF) superpixel segmentation K-MEANS algorithm characteristic function
目录
1 绪论 1
1.1课题研究背景及意义 . 1
1.2 国内外研究现状 1
1.3 本文的创新点和工作 2
1.4 本文的结构安排 3
2 基于K-MEANS算法的超像素分割 4
2.1 超像素分割简介 4
2.2 基于K-MEANS算法的超像素分割 4
3 基于条件随机场的道路图像标注 7
3.1 条件随机场理论 7
3.1.1 简介 7
3.1.2 条件随机场建模 7
3.1.3 模型学习 8
3.1.4 模型预测 . 10
3.2 超像素特征提取 12
3.2.1 纹理特征 . 12
3.2.2 LBP特征 13
3.2.3 SIFT特征 . 13
3.2.4 基于彩色的SIFT 特征 15
3.2.5 位置特征 . 16
3.3用于道路标注的CRF 模型 16
3.3.1 数据项 . 17
3.3.2 平滑项 . 19
4 程序运行结果与分析 . 20
4.1实验步骤 23
4.2 运行结果与分析 . 25
结 论 . 30
致 谢 . 31
参考文献 32
1 绪论 1.1课题研究背景及意义 图像标注是图像研究的一个重要领域，应用十分广泛，尤其是在智能机领域，比如无人车，无人机和智能机器人等。有很多方法可以运用于图像标注，运用比较广泛的算法大体可以分为三类：分别是分类标注算法、概率关联模型标注算法以及基图学习的标注算法等三大类[1]。本文的方法，大致属于第三类，即基于图学习的标注算法。 近年来，条件随机场（以下简称 CRF）应用非常广泛，由于其独有的特性，能充分体现出其智能化的特点，尤其是在文本词性标注和语义标签方面，CRF 的应用非常广泛。正是因为这种特性，正好可以和图像标注相结合起来。既可达到图学习的目的，又可以发挥 CRF的优点。 随着信息时代信息量的越来越大，图像处理工作的任务也越来越繁重，所以迫切的需要对图像处理工作效率的提高。而 CRF 具有智能化的特点，因为可以自主地通过组合学习来随时完善模型本身，因而可以适应不同的场合，真正地做到智能化与准确性兼顾。由于模型可重复性利用，这也极大地减轻了图像处理工作的负担。将图像标注与CRF结结合起来，不仅能达到智能，快速的要求，而且又兼顾了准确性的目的。 1.2 国内外研究现状 图像标注已经逐渐成为图像语义理解研究的热点，随着机器学习的不断发展，不同的学习模型已经能被广泛地运用到图像自动标注领域。在智能机器人和无人车领域应用广泛，特别是在道路环境识别这一块发挥着重要作用。图像自动标注的基本思想是利用已经标注好的图像集或者其他可学习信息，建立待标注图像与目的图像的某种潜在的映射关系，从而来预测未标注图像的标注。随着机器学习理论成果以及图像处理技术的提高，图像标注技术也已逐渐发展成熟，综合国内外研究情况，图像标注技术大致可分为绪论中所叙述的三类。 1）基于分类的自动标注算法 这是将标注问题看成语义分类的一种方法，所以解决标注问题就可以从图像分类的角度去考虑。这样就把标注问题转换成了一个多标签学习的问题了。 2）基于概率关联模型的自动图像标注算法 这种方法是建立在概率模型的基础上，图像与标签之间存在某种概率关系，根据这种关系，建立一个图像与标签之间的概率模型并根据这个数学模型来实现对图像进行标记。即通过数学计算对待标注图像贴上模型计算出的认为是概率最大的标签。 3）基于图学习的标注算法 图学习是重要的机器学习算法，用其来解决图像标注问题被证明是有效的。图学习的算法是一种半监督的学习算法，这种半监督的学习方法综合了监督学习和无监督学习即已知标签的训练数据和未知标签的测试数据都参与到算法的学习过程中。图学习算法将已知标签的图像信息传到未知标签的图像上去从而实现对未知图像的标注。 1.3 本文的创新点和工作 本次实验的目的以及创新就是将图像标注与 CRF有机地结合起来，利用 CRF来实现对道路图像的标注。近年来 CRF作为一种重要工具，主要是运用在语义词性标注上面，本文则创新性地将其运用到图像标注上面来，完成了一个从一文到二文的转换。本文所有的最终算法都是是由 C++实现，但其间也参考过许多 MATLAB的相关算法，特别是关于图像分割那一块。本文工作重心主要有两个： 1）图像分割 本文采用的图像分割方法是超像素分割法，即把每一个超像素看成一个标记单位，提取每个超像素的图像特征。采用超像素分割方法分割图像。对于此方法，我看了许多相关程序和代码，其中 C++的和 MATLAB的都有过借鉴。关于超像素分割的具体方法在下文中有详细介绍，简而言之所谓超像素分割就是将特征类似的临近像素聚合为一个区域从而作为是一个抽象的像素即超像素，以超像素为单位提取图像特征实现对图像的标注。 2）CRF模型建立与学习 对提取特征后的图像如何进行标注，则是本次实验工作的重心。我们利用 CRF模型来完成这个工作，这正是本文的创新所在。首先建立一个合理的 CRF模型，模型的建立是实验的关键所在。 CRF在机器学习领域应用广泛， CRF工具有很多，比较出名的开源工具就有 CRF++、FlexCRF等，由于之前对CRF 比较陌生，接触的也比较少，所以相关函数构造与模型学习算法也是参考了上面一些开源工具，以及导师的讲解不断地学习、理解和深化，在理解 CRF上面就花了很多时间。 模型建立好后，其中特征函数和特征值都是未知的，对于这个未知模型，用已经标注好的测试图像来对其进行训练，训练过程即是一个解方程的过程，通过大量数据和迭代算法，解出 CRF模型中状态函数与转移函数的未知参数值，并通过反复评估，优化最后得到一个误差最小的最佳模型。模型的误差度跟输入训练的数据量有关。。得到一个最佳模型后，就可以用 CRF模型对图像进行计算了。实际上，每一种标注都是 CRF模型的一个解，计算时，我们采用文特比算法，对每一个超像素特征选择代价最小的一种标注，然后状态转换，逐步迭代，最终代价最小的一种标注则是最佳解，由此得到最终的标注结果。 1.4 本文的结构安排 本文一共分为五章，每章内容如下： 第一章：绪论。包含论文中英文摘要，简单介绍研究背景、意义和图像标注技术的国内外研究现状以及作者的主要工作和贡献。 第二章：基于 K-MEANS 算法的超像素分割。介绍超像素、超像素分割方法和 K-MEANS算法。 第三章：基于条件随机场的道路场景标注。叙述图像特征提取方法，CRF理论知识、CRF模型的建立、模型学习以及利用模型来对测试图像的标注。 第四章：实验结果与分析。相关实验步骤、实验结果和数据分析以及程序运行截图。 本章小结 本章主要叙述了关于图像标注的研究背景以及意义，以及现阶段关于图像标注领域国内外一些重要研究成果。简单介绍了图像标注的主要研究方法，以及本文的创新点和主要工作内容。最后大体介绍了本文的文本安排以及脉络。总之图像标注是图像研究领域十分重要的一个分支，特别是在智能化发展尤为迅速的当前时代下，图像标注对于机器学习有着不可或缺的重要意义，特别是在无人车技术和智能机器人方面发挥着尤为重要的作用。 K-MEANS算法基于条件随机场的道路图像标注:http://www.youerw.com/jisuanji/lunwen_21877.html