基于机器视觉的工件智能抓取技术研究

常利用图像特征来对目标进行描述，然后再对其分类，目标分类是目标识别过程中的重要步骤目前已经广泛应用于图像分割，目标识别，变化检测，字符识别等场合。

根据待分类目标的外形，可将分类任务分为两类。第一类是针对搜索目标外形固定，并且不同类型目标的特征区域明显，这种情况可以采用模版匹配的方法对其进行分类，第二类是针对目标外形不是特别明显，人工无法选择出合适的分类方法对其进行分类，这种情况下就需要利用已知类型信息的目标图像对分类器进行训练，让分类器对后续的图像进行分类。常用的分类器有三种，分别是基于多层感知分类器MLP，基于支持向量机分类器SVM，基于高斯混合模型分类器GMM，本文采用MLP分类器，具体步骤为：

图X 目标分类的一般步骤

首先创建某一类型的分类器，然后对一直目标进行分析，得到描述该类型目标的特征向量，然后利用特征向量对分类器进行训练，得到判别函数，这时分类器就获得了分类的原则，然后对后续的未知目标进行分类，同样也需要对目标进行特征提取得到特征向量，然后利用分类器对向量进行计算，得到分类结果。这里使用的是OpenCV或者Halcon中提供的分类器

3图像匹配

用创建模版图像的方法可以用于检测图像来确定目标的位置，但是通过图像分割的方法来得到一个稳定的目标识别系统是非常困难的。例如背景发生拜年话，目标被部分遮挡，目标与摄像机间距离变化，多个目标出现等都导致分割的困难，而图像匹配可以解决这些问题。 图像匹配是指利用已知的目标模式，对不同时刻或视角下拍摄的两幅图像间寻找相同或相近的目标模式，使期望的目标建立起对应关系的过程，图像匹配算法按照特征选择层次的不同分为两大类，

??绝对值算法：SAD,SSD,NC?基于相似性度量??基于灰度值相关的匹配??检测，分层搜索?加速算法：序贯相似度???基于统计矩??点匹配????边缘匹配??基于图像特征的匹配???边缘拟合几何基元匹配??形状匹配??

基于灰度值相关的匹配是利用图像的直接灰度值特征，其计算过程为：移动模版至待匹配图像的各个位置，计算每个位置时模版本身与所覆盖区域的相似性计算值，将得到的一系列计算值进行比较，极值处便是目标所在的位置。这种方法计算量大，达不到实时性要求，并且不能适应光照条件变化、尺度变化，遮挡等情况，为了解决实时性要求，采用基于图像特征的匹配方法，这种匹配方法有很好的鲁棒性，基于特征的匹配是指，对模版图像和匹配图像分别进行特征提取，用相似性度量函数计算对应特征之间的相似程度的匹配方法，特征的选择有很多，一般来说灰度变化大的地方是信息量最丰富的地方，比如，角点，轮廓，边缘，直线，纹理等。本文采用的是基于形状匹配的方法，该方法是多种技术的综合，既用到了金字塔匹配模型，也用到了图像的轮廓特征，该方法的一般流程如图，匹配后得到目标在图像中的位置坐标如下表： 序号 1 2 ....

目标个数 1 1 ...... 坐标 （289.042，311.058） （145.325，178.698） ...... 角度 -0.00052 6.32541 ..... 准确度 98.365 99.452 ......

图X.基于形状匹配的步骤

4.目标跟踪

目标跟踪是一个对运动目标或者运动相机采集到的图像序列进行连续确定目标位置的过程，目标定位是目标跟踪的基础，通过跟踪能够得到目标的运动轨迹从而可以对将来目标出现的位置进行预测，通过轨迹能够得到目标的速度和加速度，从而可以为运动学研究提供一种测量手段。此外，通过目标跟踪可以对预先设定好出现范围和形状的目标进行监视，如果其出现范围或者形状发生变化时，便发出相应的报警信号。

目标跟踪可以分为两大方法：第一类是基于边缘特征的方法;第二类是基于目标内部投影点信息的方法，如光流法，模版匹配法。本位采用第二类中的模版匹配方法，由于匹配计算量较大，可采用以下途径减少运算量：首先计算第一副图像中目标的位姿，由于目标运动的连续性，对得到的位姿进行限制，定义一个跟踪范围圆（下一个目标可能出现的区域），然后在指定范围内对后续图像进行目标匹配。由于本文采用的传送带运动状态为匀速直线运动，因此只要计算出目标的速度和位置便能写出轨迹方程来。 定义参考坐标系：

在传送带上定义参考坐标系的目的，是为了将目标位姿与机器人基坐标系联系起来。参考坐标系的X轴与传送带中线重合，方向指向目标运动方向，y轴指向机器人一侧，Z轴垂直于传送带平面向上。

?12?

左侧方框区域代表相机的视野范围，右侧外圆区域为机器人工作空间范围，内圆区域代表机器人工作空间与传送带在平面相交区域。工件从左侧进入，在计时起点处开始计时。相机对经过计时起点的目标进行连续拍照，估算出目标重心在参考坐标系中的坐标和速度。在进行实验之前通过离线测量的方法，得到参考坐标系与机器人基座之间的相对位姿样可以计算出参考坐标系在摄像机坐标系下的位姿由离线测量得到的位姿关系矩阵。

camrefbaseHref，同

camHref

base可以计算出机器人基座于摄像机之间的位姿Href和camHref，

Hbase?(camHref)?(baseHref)?1camHobj?(camHref)?(?1camHobj)

然后通过目标定位得到目标的位姿

refHobj，再计算出目标重心相对于参考坐标系的位姿

，过重心点做一条平行于参考坐标Hobj，由refHobj可以得到目标重心的坐标（x0,y0,z0）

系x轴的直线，与机器人工作空间区域相交与两点：(x1,y1)，?x2,y2?。这两点便是目标进出工作空间的坐标点。由这两点结合运动速度就可以计算出目标何时进入和离开机器人的工作空间范围，在这个时间段中选择任一时刻即可对目标进行抓取。

目标速度V的计算，可以在摄像机视野内，取间隔10张的两幅图像，计算目标中心在运动