《武汉工程大学学报》 2014年12期
56-62
出版日期：2014-12-31
ISSN:1674-2869
CN:42-1779/TQ
动目标多视点基于标定的去模糊方法
０ 引 言在现代工业生产的产品加工过程中，将基于多视点成像的三维视觉检测技术应用在生产线上，实现产品的全自动、非接触数字精确在线测量，是产品数字化，信息化与智能化制造的必然需要［１］.然而，当人们试图将这种技术应用在生产线上时，却遇到了一些困难.产品在生产线上处于运动状态，拍摄的图像都会产生运动模糊，与静止情况下拍摄的图像相比，物体边缘不清晰、形状会失真，而且利用这些模糊图像进行三维重建，无法得到物体的完整结构表面，更不能实现视觉检测.因此，就必须通过图像复原技术对模糊图像进行处理，但是目前运用较广泛的单幅图像去模糊方法只是对一幅图像进行处理［２-３］，而一幅图像很难实现三维重建；同时多幅图像去模糊方法虽然图像数量增多了［４］，但是对这些图像的要求比较多，比如要求图像的背景相同等，这也不利于实现三维重建；如果把多视点运动模糊图像划分为逐个单幅图像进行独立去模糊后，这些图像仍然也无法进行三维重建，因为去模糊后的图像严重破坏了同名特征点的位置对应关系.本研究提出了一种新的多幅图像联合去模糊的算法.结合现有的成熟的相机标定方法和单幅去模糊方法，通过任意两幅图像的点扩展函数和相对应的相机的内外参数，建立多视点点扩展函数的路径关系，求出其他相机所对应的模糊图像的点扩展函数.一旦知道了所有图像的点扩展函数，就可以利用现有的非盲目图像复原算法来获取清晰图像. １ 算法原理１．１ 多视点模糊图像采集系统为了获取动目标多视点的模糊图像，首先需要建立多视点成像采集系统，多视点相机的数量可以根据实际需要来确定.每个相机在不同的角度和位置对目标进行拍摄，当拍摄视角和位置确定后，各视点相机的位置基本保持不变，采用同步信号发生器来控制多视点成像系统.本研究建立了一套多视点图像采集系统.将物体放在一个遥控小车上，当拍摄静止的图像时，小车保持不动，当拍摄运动模糊图像时，用遥控小车实现运动.八个工业相机呈弧线排列从具有显著差异的视角来获取物体信息.利用同步信号发生器实时采集动目标多视点图像，图１展现了该采集系统中的硬件平台：图１ 多视点运动模糊图像采集系统的硬件平台Ｆｉｇ．１ Ｔｈｅ ｈａｒｄｗａｒｅ ｐｌａｔｆｏｒｍ ｏｆ ｍｕｌｔｉ－ｖｉｅｗｍｏｔｉｏｎ ｂｌｕｒｒｅｄ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｓｙｓｔｅｍ１．２ 部分视点模糊图像点扩散函数路径的初步估计从采集到的多视点图像中选择部分视点图像（这里选择两个视点图像），先估计出它们的点扩展函数（ＰＳＦ）路径，然后利用已经估计出来的两个视点的模糊路径以及各视点模糊路径的对应关系来计算其他视点的模糊核函数.由于每个视点的模糊核以及原清晰图像都是未知的，要从单视点图像中同时估计出模糊核和原图像，这就要面对一个不适定问题，而估计出的模糊核的精度对复原结果起着至关重要的作用.本文采用基于边缘预测的模糊核估计方法来获得模糊核的初步估计值［４］.１．３ 相机标定目标图像的像素值表示空间场景中相对应位置摄入镜头里的光通量，这个像素的坐标信息与实际场景中的几何位置有关联［５］.通过相机的图像坐标系与空间物体的三维坐标系之间的关系，得到相机的参数的过程就是相机标定.本文选用传统法对相机进行标定，即张正友标定方法.该方法结合旋转矩阵的正交性条件和非线性最优化［６］.从两个以上的不同角度用相机对平面模板进行拍摄，平面模板是一个类似国际象棋棋盘的平面，如图２：图２ 相机标定板Ｆｉｇ．２ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｐｌａｔｅ１．４ 多视点模糊图像点扩散函数路径关系的建立在多视点成像系统中，若给定空间点（ｘ，ｙ，ｚ），其在视点成像面上的投影坐标为（ｕ，ｖ），空间点坐标（ｘ，ｙ，ｚ）和投影点坐标（ｕ，ｖ）的对应关系可通过一个相机参数矩阵来描述： ｄｕｖ１＝ｐ００ ｐ０１ ｐ０２ ｐ０３ｐ１０ ｐ１１ ｐ１２ ｐ１３ｐ２０ ｐ２１ ｐ２２ ｐ２３ｘｙｚ１ （１）其中ｄ为空间点（ｘ，ｙ，ｚ）的景深（距离），（ｕ， ｖ）是空间点在图像坐标系中的坐标，相机参数矩阵元素值是通过标定方法得到的相机参数，不同视点的相机具有不同的内外参数.三维空间中运动物体上的不同的点的运动向量大小是一样的，因此，在物体上任意选择一点ｍ， 把位置Ａ和位置Ｂ分别作为起点和终点.令（ｕＡ，ｖＡ）是点ｍ在位置Ａ时，所对应的点在图像坐标系中的坐标，ｄＡ是点ｍ到相机平面的景深（距离），同理（ｕＢ，ｖＢ）是点ｍ在位置Ｂ时，所对应的点在图像坐标系中的坐标，ｄＢ是此时点ｍ到相机平面的景深（距离）.物体在世界坐标系中，从位置Ａ运动位置Ｂ，相应的在ｉ，ｊ视点的成像平面上也分别从（ｕＡ（ｉ），ｖＡ（ｉ））运动到（ｕB（ｉ），ｖB（ｉ）），（ｕＡ（j），ｖＡ（j））运动到（ｕB（j），ｖB（j）），由公式（１）可推导出ｉ，ｊ对应的空间位移分别为：视点ｉ Δｘ（ｉ）Δｙ（ｉ）Δｚ（ｉ）＝ｄＢ（ｉ）ｂ００（ｉ） ｂ０１（ｉ） ｂ０２（ｉ）ｂ１０（ｉ） ｂ１１（ｉ） ｂ１２（ｉ）ｂ２０（ｉ） ｂ２１（ｉ） ｂ２２（ｉ）ｕＢ（ｉ）ｖＢ（ｉ） １ －ｄＡ（ｉ）ｂ００（ｉ） ｂ０１（ｉ） ｂ０２（ｉ）ｂ１０（ｉ） ｂ１１（ｉ） ｂ１２（ｉ）ｂ２０（ｉ） ｂ２１（ｉ） ｂ２２（ｉ）ｕＢ（ｉ）ｖＢ（ｉ） １ （２）视点ｊ Δｘ（ｊ）Δｙ（ｊ）Δｚ（ｊ）＝ｄＢ（ｊ）ｂ００（ｊ） ｂ０１（ｊ） ｂ０２（ｊ）ｂ１０（ｊ） ｂ１１（ｊ） ｂ１２（ｊ）ｂ２０（ｊ） ｂ２１（ｊ） ｂ２２（ｊ）ｕＢ（ｊ）ｖＢ（ｊ） １ －ｄＡ（ｊ）ｂ００（ｊ） ｂ０１（ｊ） ｂ０２（ｊ）ｂ１０（ｊ） ｂ１１（ｊ） ｂ１２（ｊ）ｂ２０（ｊ） ｂ２１（ｊ） ｂ２２（ｊ）ｕＢ（ｊ）ｖＢ（ｊ） １ （３）其中 ｂ００（ｉ） ｂ０１（ｉ） ｂ０２（ｉ）ｂ１０（ｉ） ｂ１１（ｉ） ｂ１２（ｉ）ｂ２０（ｉ） ｂ２１（ｉ） ｂ２２（ｉ）＝ｐ００（ｉ） ｐ０１（ｉ） ｐ０２（ｉ） ｐ０３（ｉ）ｐ１０（ｉ） ｐ１１（ｉ） ｐ１２（ｉ） ｐ１３（ｉ）ｐ２０（ｉ） ｐ２１（ｉ） ｐ２２（ｉ） ｐ２３（ｉ）■， ｂ００（ｊ） ｂ０１（ｊ） ｂ０２（ｊ）ｂ１０（ｊ） ｂ１１（ｊ） ｂ１２（ｊ）ｂ２０（ｊ） ｂ２１（ｊ） ｂ２２（ｊ）=ｐ００（j） ｐ０１（j） ｐ０２（j） ｐ０３（j）ｐ１０（j） ｐ１１（j） ｐ１２（j） ｐ１３（j）ｐ２０（j） ｐ２１（j） ｐ２２（j） ｐ２３（j）■．由于各视点图像中，点ｍ在空间中移动的距离是相同的，于是，根据公式（２）和（３），可建立视点ｉ和视点ｊ图像点扩展函数路径的关系如下： ｄＢ（i）ｂ００（ｉ） ｂ０１（ｉ） ｂ０２（ｉ）ｂ１０（ｉ） ｂ１１（ｉ） ｂ１２（ｉ）ｂ２０（ｉ） ｂ２１（ｉ） ｂ２２（ｉ）ｕA（i）+Δｕ（i）ｖA（i）+Δｖ（i） １ －ｄB（ｊ）ｂ００（ｊ） ｂ０１（ｊ） ｂ０２（ｊ）ｂ１０（ｊ） ｂ１１（ｊ） ｂ１２（ｊ）ｂ２０（ｊ） ｂ２１（ｊ） ｂ２２（ｊ）ｕA（j）+Δｕ（j）ｖA（j）+Δｖ（j） １=ｂ０ｂ１ｂ２ （４）其中 ｂ０ｂ１ｂ２=ｄA（i）ｂ００（ｉ） ｂ０１（ｉ） ｂ０２（ｉ）ｂ１０（ｉ） ｂ１１（ｉ） ｂ１２（ｉ）ｂ２０（ｉ） ｂ２１（ｉ） ｂ２２（ｉ）ｕA（i）ｖA（i） １ －ｄA（ｊ）ｂ００（ｊ） ｂ０１（ｊ） ｂ０２（ｊ）ｂ１０（ｊ） ｂ１１（ｊ） ｂ１２（ｊ）ｂ２０（ｊ） ｂ２１（ｊ） ｂ２２（ｊ）ｕA（j）ｖA（j） １．各视点图像的点扩展函数只与其点扩展函数路径有关，即 ｐｓｆｉ＝ｈ（Δｕ（ｉ），Δｖ（ｉ）），ｐｓｆｊ＝ｈ（Δｕ（ｊ），Δｖ（ｊ））．根据１．２介绍的单视点图像模糊核估计方法估计出视点ｉ和视点ｊ的点扩展函数路径，（Δｕ（ｉ），Δｖ（ｉ））和（Δｕ（ｊ），Δｖ（ｊ））将这两对值代入公式（４）中，即可得到包含两个景深未知参数ｄＢ（i）和ｄＢ（j）的三个方程，这是个超定线性方程组，利用最小二乘法的最小误差即可求出深度ｄＢ（i）和ｄＢ（j），当求出（Δｕ（ｉ），Δｖ（ｉ）,ｄＢ（i）），其他视点图像的点扩展函数路径（Δ■（n），Δ■（n））及dＢ（n）深度值可以通过如下关系方程计算： dＢ（n）ｕ0（n）+Δｕ（n）ｖ0（n）+Δｖ（n） １■=ｂ００（n） ｂ０１（n） ｂ０２（n）ｂ１０（n） ｂ１１（n） ｂ１２（n）ｂ２０（n） ｂ２１（n） ｂ２２（n）■０■１■２， （ｎ＝０，１，…，Ｎ－１）（５）其中■０■１■２=■B（i）ｂ００（ｉ） ｂ０１（ｉ） ｂ０２（ｉ）ｂ１０（ｉ） ｂ１１（ｉ） ｂ１２（ｉ）ｂ２０（ｉ） ｂ２１（ｉ） ｂ２２（ｉ）ｕ0（i）+Δ■（i）ｖ0（i）+Δ■（i） １-ｂ０ｂ１ｂ２点扩展函数路径确定后，根据两视点图像点扩展函数值的线性映射关系及能量守恒（点扩展函数离散值之和为１）通过线性插值可确定该视点的点扩展函数的值.１．５ 基于点扩散函数内在关系的多视点模糊图像的去模糊方法根据１．４节内容，我们可以得出各视点图像的具有对应关系和整体一致性的点扩散函数同名路径和点扩散函数值，在各视点图像模糊核都已估计出且确保了对应性和一致性的前提下，对模糊图像进行整体去模糊.为了克服噪声的影响并且保护图像的细节，提高图像恢复的质量，本文采用基于保护边缘的各向异性正则化理论与最大似然估计复原算法相结合的方法来恢复图像［７－９］.与传统方法相比，该方法在各个方向上使用不同的平滑系数，从而抑制了背景平滑区域中的噪声.本文采用泊松随机模型来估计图像噪声分布，假设模糊图像灰度值ｇ（ｙ）是以i（ｙ）为均值的服从泊松分布的独立随机变量，i（ｙ）是不含噪声图像的灰度值.根据泊松分布模型，对模糊图像的联合概率泊松分布求对数可得到如下对数似然函数： Ｌ（ｆ，ｈ）＝－■■ｈ（ｙ－ｘ）ｆ（ｘ）＋ ■ｇｌｎ■ｈ（ｙ－ｘ）ｆ（ｘ）） （６）由于图像中相邻点的灰度值是高度相关的，可以将相邻点的灰度值的差异最小化作为空间相关性的约束条件，因此加入基于图像梯度的各向异性正则化的辅助代价函数： Ｊ（■ｆ）＝－■■?琢（■ｆ）［ｆ（ｘ）－ｆ（ｘ′）］2 （７）为了保护图像边缘，采用较小的正则化系数对大梯度进行较轻的平滑以保护边缘的大梯度，利用较大的正则化系数来对小梯度边缘进行较重的惩罚，从而抑制了背景平滑区域中的噪声，不同的方向采用不同的正则化系数.将公式（７）的最小化转化为最大化的准则函数形式： Φ（■ｆ）＝1－■■?琢（■ｆ）［ｆ（ｘ）－ｆ（ｘ′）］2 （８）将上述辅助准则函数加入到对数似然函数（６）中，可通过求解基于边缘保护的正则化辅助函数与似然函数相加的函数最大值来复原图像，即对原图像ｆ求导，并令其导数为零，求解该系统方程则得到复原图像.采用迭代求解，在迭代过程中，给定模糊核■的值，则通过非线性迭代不断更新■ （ｎ＋１）的值，直至得到清晰的原图像，公式表示为： ■ （ｎ＋１）（x）= ■ （ｎ）（x） ■■g(y)■ （9）２ 结果与分析本节为了验证动目标多视点运动去模糊方法的有效性，进行了大量的复原实验.这些实验包括点扩展函数的估计与优化验证实验，对直线运动和斜线运动实际模糊图像的复原实验. 本实验算法是在ＶＣ６．０平台上用Ｃ＋＋编程实现. 本文所有实验均在３．０６ ＧＨｚ的ＣＰＵ４Ｇ的内存的计算机上运行得到.２．１ 部分视点点扩散函数初步求解将相机采集系统的8个相机分别标号（１－８号），通过采集系统获取部分视点物体的静止图像以及不同运动形式下的实际运动模糊图像.将５号相机获取的物体静止图像进行运动仿真模糊，得到两种不同运动形式下的模糊图像，并求出相对应的点扩展函数.如图３所示，其中图３（ａ）是原始的清晰图像，图３（ｂ）是水平运动仿真模糊图像，图３（ｃ）是斜线运动仿真模糊图像.它们相对应的点扩展函数分别是图４和图５.其中，图４（ａ）是真实的水平运动模糊点扩展函数，图４（ｂ），图４（ｃ）分别是初步估计的点扩展函数和优化后的点扩展函数.对比真实的点扩展函数，可以看出优化后的点扩展函数非常接近真实的点扩展函数.图５（ａ）是真实的斜线运动模糊点扩展函数，图５（ｂ），图５（ｃ）分别是初步估计的点扩展函数和优化后的点扩展函数.对比真实的点扩展函数，同样也可以看出优化后的点扩展函数非常接近真实的点扩展函数.图 ３ 不同运动形式下的仿真图像Ｆｉｇ．３ Ｔｈｅ ｓｉｍｕｌａｔｅｄ ｉｍａｇｅｓ ｆｒｏｍ ｄｉｆｆｅｒｅｎｔ ｍｏｄｅ ｏｆ ｍｏｔｉｏｎ图 ４ 水平运动仿真的真实ＰＳＦ与求解出的ＰＳＦＦｉｇ．４ Ｔｈｅ ｒｅａｌ ＰＳＦ ａｎｄ ｓｏｌｖｅｄ ＰＳＦ ｏｆ ｔｈｅ ｓｉｍｕｌａｔｅｄ ｉｍａｇｅ ｆｒｏｍ ｈｏｒｉｚｏｎｔａｌ ｍｏｔｉｏｎ图 ５ 斜线运动仿真的真实ＰＳＦ与求解出的ＰＳＦＦｉｇ．５ Ｔｈｅ ｒｅａｌ ＰＳＦ ａｎｄ ｓｏｌｖｅｄ ＰＳＦ ｏｆ ｔｈｅ ｓｉｍｕｌａｔｅｄ ｉｍａｇｅ ｆｒｏｍ ｓｌａｓｈ ｍｏｔｉｏｎ２．２ 多视点运动图像去模糊实验及分析为了验证本文算法对实际运动模糊图像的有效性，选择8个视点实际的运动模糊图像做测试.图６（ａ）到图６（ｈ）是8个相机采集的实际水平运动模糊图像.图８（ａ）到图８（ｈ）是8个相机采集的实际斜线运动模糊图像.实验一：水平运动模糊图像复原这次选择视点１和视点８，先分别估计出这两个视点的点扩展函数，然后建立多视点点扩展函数关系，进而求出其他视点的点扩展函数，最后对图６的8个视点的图像进行联合去模糊.图７分别是对应的视点的复原图像，其右下角是其相应的点扩展函数.从结果可知，与实际模糊图像相比，复原图像的汉字能清晰辨别，各个视点的点扩展函数与仿真时相比比较接近，更符合前面章节对多视点运动模糊路径的分析.图 ６ 实际水平运动模糊图像Ｆｉｇ．６ Ｔｈｅ ｒｅａｌ ｈｏｒｉｚｏｎｔａｌ ｍｏｔｉｏｎ ｂｌｕｒｒｅｄ ｉｍａｇｅ图 ７ 实际水平运动模糊图像恢复结果Ｆｉｇ．７ Ｔｈｅ ｒｅｓｔｏｒａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｒｅａｌ ｈｏｒｉｚｏｎｔａｌ ｍｏｔｉｏｎ ｂｌｕｒｒｅｄ ｉｍａｇｅ图 ８ 实际斜线运动模糊图像Ｆｉｇ．８ Ｔｈｅ ｒｅａｌ ｓｌａｓｈ ｍｏｔｉｏｎ ｂｌｕｒｒｅｄ ｉｍａｇｅ图 ９ 实际斜线运动模糊图像恢复结果Ｆｉｇ．９ Ｔｈｅ ｒｅｓｔｏｒａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｒｅａｌ ｓｌａｓｈ ｍｏｔｉｏｎ ｂｌｕｒｒｅｄ ｉｍａｇｅ实验二：斜线运动选择视点２和视点７，先分别估计出这两个视点的点扩展函数，然后建立多视点点扩展函数关系，进而求出其他视点的点扩展函数，最后对图８的八个视点的图像进行联合去模糊.图９分别是对应的视点的复原图像，其右下角是对应的点扩展函数.从结果可以看出，复原图像的英文词组非常容易辨别，而在模糊图像上相同位置的词组几乎辨别不出.同时每个视点的点扩展函数与仿真图像复原得到的点扩展函数相比非常接近.３ 结 语本研究提出了一种新的动目标多视点运动去模糊方法.该方法在多视点几何理论的基础上，寻求多视点的运动模糊图像的点扩展函数路径和模糊核之间的关系.并在确保各视点模糊核的对应性和一致性的前提下，对多视点图像进行联合去模糊.实验结果表明本文方法对运动模糊图像恢复有很好的效果.致 谢本工作得到国家自然科学基金委员会，湖北省科学技术厅和武汉市科技局提供的资金资助，在此一并致以衷心的感谢.