红外图像处理技术和成像系统起先是运用于军事科技中，在二战期间，保障车辆的隐蔽性，德国人自主研发了主动红外系统，将其安装在汽车上。该装置的成果研发让德国人的车辆在黑暗中行驶却不用打开照明大灯。这是红外双目立体视觉系统最为原始的应用，它的原理是用单个摄像机拍摄物体，并通过一定的方法，把二维图像信息还原为三维深度图像信息，并根据所得三维图像信息获得被拍摄物体距离摄像机的距离。80519

上个世纪70年代中期，美国麻省理工学院的Marr提出了一种视觉计算理论，奠定了立体视觉发展的理论基础。Fischler和Barnard总结了1981年之前的所有的立体匹配算法，重点阐述了分析立体匹配的主要步骤，匹配算法的评价标准和计算立体匹配的不同方法。到了80年代，立体匹配技术的研究已经成为计算机视觉中的重点之一了，Dhond和Aggarwal基于图像的几何形状，匹配基元和计算结构来对匹配算法进行分类，综述了用于测试图像的立体匹配技术的性能，并指示了未来研究的可能的方向。到了九十年代，匹配技术在各个方面的发展都逐渐成熟，基于特征的匹配技术获得了突破，基于区域的匹配技术也有了新方法，尤其是对遮挡问题的研究也有了进展，包括各种算法实现的实时性问题。论文网

2002年，Scharstein和 Szelisk]提出将立体匹配算法的主要步骤分为四步：（1）匹配代价的计算、（2）代价聚焦、（3）视差值的计算、（4）视差精化。而且Scharstein和 Szeliski建立了http://vision。middlebury。edu/stereo/eval/网站，该网站提供立体匹配算法的评价方法、图像数据库（包括校正后的待匹配图像对和标准视差图）以及在线评测立体匹配算法和排名的平台。Middlebury网站的建立为全球的立体匹配算法研究者提供了学术交流的平台。自此以后，立体匹配技术蓬勃发展。特别是近二十年左右，随着立体匹配技术的提高，得到的视差图越来越精准，研究者们又将注意力放在怎么样用硬件（DSP或FPGA）支撑立体视觉系统上面，这就要求匹配算法既简单有精确，这样才有利于硬件的实现。