A brief investigation on 3D vision application area and technical detail for FDOROP  project

三维机器视觉

3D机器视觉系统是利用3D成像技术，通过分析3D图像信息进行机器视觉分析的新兴视觉系统。相比传统的二维视觉系统，其获取的三维图像信息更为高速、准确、可靠，可以大幅提升图像检测质量，提高检测的精确度与成功率。

3D机器视觉技术所捕获的图像具有物体的高度、深度、形状、体积等更为丰富的图像信息，结合先进的3D图像处理技术，不仅使得3D视觉的应用场合相比传统的2D视觉更加广泛，图像准确性与测量精度也有明显提升。仅由一台3D摄像机提供足够丰富的信息，供一套稳健、高速、可靠的视觉系统做出决策。3D机器视觉系统一定程度上化解项目的复杂性，降低生产成本。

3D机器视觉系统近年来发展迅猛，各种实现途径的3D机器系统在工业界不同领域的应用日益普遍，相应的各类3D视觉技术也不断推陈出新，日趋成熟。

一、三维机器视觉在各领域应用广泛

半导体和电子

高精度定位调整

PCB板、晶片和Die检测

度量衡

引线框检测

LED和LCD功能测试

太阳能晶片、电池和面板检测

汽车

机器人引导

部件跟踪

关键部件尺寸测量

检测焊接螺母、弹簧和紧固件的有无

涂胶追踪及检测

放料及取料

食品和饮料

验证日期和批号

检选和包装

标签检测

检测瓶盖、标签和密封材料的有无

整体包装检测

验证袋子的密封性

机器人导引和部件定位

太阳能

晶体硅、硅片和电池检测

高精密对准

颜色分选

涂层检测

面板装配验证

屏幕打印登记

制药

日期和批号验证

标签检测

全包检测

颜色分类

1-D和2-D条码读取

防揭封条验证

机器人导引和部件定位

部件定位并自动码垛

定位、识别并检测元件

拾取并置于传送带

机器人检测

装配导引

二、基本视觉功能

双目立体视觉(Binocular Stereo Vision)是三维机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。

优势：双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。

技术原理：立体视觉系统由左右两部摄像机组成。如图二所示，图中分别以下标l和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。

主要技术环节：

图像获取：数字图像的获取是立体视觉的信息来源。常用双目图像，有的采用多目图像。图像获取的方式有多种，主要由具体运用的场合和目的决定。

摄像机标定：指对三维场景中对象点在左右摄像机图像平面上的坐标位置al(ul，vl)、ar(ur，vr)与其世界空间坐标A(X，Y，Z)之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。

特征提取：目的是获取匹配赖以进行的图像特征，目前匹配算法多样。

立体匹配：将三维空间中一点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像点al(ul，vl)和ar(ur，vr)对应起来。

三维恢复：在完成立体视觉系统的摄像机标定和图像匹配工作以后，就可以进行被测对象表面点的三维信息恢复。

视频分析（运动检测、运动跟踪、规则判断、报警处理）：通过视差计算，得到全屏幕的视差图像后，采用背景建模的方式，得到运动前景物体的视差图像，再进行膨胀和腐蚀算法进行图像预处理，得到完整的可供分析的前景运动物体视差图。