1 焊缝图像识别技术研究现状

焊缝图像识别是焊缝定位跟踪系统的关键技术之一，图像识别的结果直接影响系统的执行效率与焊缝跟踪精度［2］，焊缝识别中使用的图像识别方法主要包括传统图像识别方法及深度视觉识别方法［3］。

1.1 传统图像识别方法

在焊接过程中，干扰因素不可避免，如烟尘、飞溅、弧光等，焊缝传感器采集的图像往往存在大量噪声干扰［4］。传统图像识别法为了避免受到外界工况条件的影响，对图像进行了一系列预处理，如图1所示，主要包含灰度化、去噪、图像分割、图像提取等步骤，其中最关键技术的是去噪和图像分割。

<G:\武汉工程大学\2023\第4期\王仕仙-1.tif>

图1 传统图像识别流程

Fig. 1 Traditional image recognition process

图像滤波是最常见的图像去噪处理方法，主要从图像处理软件算法上进行改善［5］，能够在保留图像细节特征的前提下抑制图像噪声。Zou等［6］提出一种功能图像处理算法，根据帧间图像连续性从含有大量噪声的图像中检测焊缝位置。He等［7］使用贾柏滤波器针对V形坡口焊缝图像处理，试图有效消除飞溅、弧光噪声影响。Li等［8］通过设置动态感兴趣区域（region of interest，ROI）降低飞溅造成的干扰。此类降噪方法需要进行变换和逆变换，计算量较大，反馈慢，满足不了实时功能的要求。

焊缝图像预处理后，为提取焊缝区域，需要对图像进行分割，将图像中的各个区域按照特征进行划分，根据分割结果，可以计算焊缝和焊炬之间的偏移。最常用的自适应阈值方法为最大类间方差法（online teaching support unit，Otsu），曹爽等［9］提出了狼群优化的二维Otsu图像分割方法，采用狼群算法搜索图像的最优阈值。孙惠杰等［10］提出了一种基于粒子群和区域生长的分水岭分割算法。Achanta等［11］提出了简单线性迭代聚类方法，能够获得较好的分割效果。此类方法可以有效进行图像分割，识别有效焊接区域和焊缝中心线，但计算量大，执行速度缓慢。

1.2 深度视觉识别方法

使用深度学习的图像识别方法可以直接通过训练从数据集中学习到更加复杂且抽象的高级特征，不再依赖于人工特征，提升焊缝跟踪系统的跟踪精度与执行效率［12］。

1.2.1 焊接面积预测方法 焊接面积对焊接接头的力学性能有很大的影响，因此常常作为评价焊接质量几何特征的一个评价指标，同时，焊接面积的确定有利于焊缝边界及中心线的确定。Ai等［13］针对6061铝合金激光振荡焊接提出了一种反向传播学习的前馈型神经网络（back propagation feed-forward neural network，BPNN）预测模型，主要建立基于工艺参数的焊接面积预测方法，可以有效降低铝合金理化反应引起的焊缝气孔，通过图像识别技术计算出焊缝的横截面面积，识别出的焊缝面积误差小于8.8%，结果表明，BPNN预测模型具有较高的精度和鲁棒性，可以用来预测识别焊缝的横截面面积，但此方法需要确定具有规则几何形状的理想焊接接头及最佳焊接工艺条件，才能保证焊缝识别的精度。

1.2.2 焊缝图像识别改进算法 自动快速的焊缝类型分类、焊点识别和焊缝ROI确定是智能焊接机器人的关键环节，因为它们直接影响焊缝识别与跟踪。考虑到计算机视觉的目标检测算法（you only look once version，YOLOv）的快速推理速度，Chen等［14］提出了一种基于改进的YOLOv5进行焊缝类型自动分类、焊点识别和焊缝ROI确定的方法，将预测框与焊炬之间的中心分量偏差添加到原始定位损失函数中，使用加权分类损失函数来减少角焊缝和坡口焊缝中的误差，提出了一种填充图像边界的自模板方法，以提高训练模型的泛化能力。该方法将确定的焊接ROI的中心分量偏置从2.38像素减少到2.18像素，召回率从0.96提高到0.98，计算时间从180 ms减少到48 ms，此种方法损失了一定熔池边界识别的精度。

而焊缝熔池边界的识别有利于焊缝中心线的提取，对于为自动化焊接控制提供信息、促进焊接传感技术的进步和提高焊接制造自动化至关重要。Naji等［15］提出了一种新的方形凹槽特征点提取方法，主要建立基于Haralicks面模型的边缘检测算法，提取了激光条纹的边界，使用F?rstner算法识别方形焊缝坡口的角点确定焊缝中心线，同时，在建立测试平台后，对各种尺寸的方形凹槽进行了一系列检测测试。所获得的检测结果足够准确，最大相对误差小于3.19%，证明了所提出的视觉传感器物理设计的基本原理和所提出的检测算法的有效性。

焊接为保证强度，焊缝通常需要具有一致和可靠焊接的100%熔透状态，这就对熔池的深度识别提出了要求，为了识别熔池的深度，Gao等［16］设计并建立了一个基于单摄像机的双棱镜无源立体视觉系统，推导全局优化的变分立体匹配算法，建立了基于残差结构和多尺度空间聚合的深度学习立体匹配网络，并根据输入的左右图像识别熔池深度，优化后的模型在测试集上生效，识别准确率达到99.6%，显示出足够优异的性能。

1.2.3 多样本训练学习法 多样本训练是深度图像处理的有效方法，Singh等［17］用1 530张手动标记的图像训练了不同的多类对象识别算法，基于区域的卷积神经网络、单镜头多盒检测器（single shot multibox detector，SSD）和YOLOv3，使用了限制对比度自适应直方图均衡方法。通过广泛的实验研究，在以上三种深度学习模型中找到最佳参数，研究发现，使用该学习模型可以准确地检测焊缝形状，准确率为99.9%。Zou等［18］提出了一种基于SOLOv2的轻量级的分割网络，基于激光视觉传感器的焊接机器人收集工件表面的焊接图像，并利用图像处理算法在焊接过程中实时定位特征点，并加以训练，焊缝识别的平均绝对误差稳定在0.2 mm左右。Guo等［19］设计了一个大型工件V形焊缝的自动测量系统，建立了计算焊缝空间位置的数学模型，将Radon变换、Harris角点检测和均值聚类相结合，当线激光入射到工件凹槽上，形成多个线段，在将这些交点映射到图像中的特征点以计算与每个特征点对应的空间位置之后，将焊缝不同位置所有离散点引入模型训练学习，较好地完成整个焊缝的识别。样本训练图像处理法对特定的焊缝类型基本可以实现焊缝图像的精确识别，但唯一的缺陷是需要对数据样本量进行扩充，提高深度学习在焊缝识别中的适应性。

1.2.4 神经网络法 由于样本训练图像处理的适应性不足，因此，构建及开发神经网络识别亟待进行，也有部分学者在这方面有了初步的研究，取得了比较有效的结果。Singh等［20］在MATLAB中使用2D卷积神经网络（convolutional neural networks，CNN）从网络摄像头中在线检测和分类不同形状的焊缝，具有强大的特征提取能力，并使用网络摄像头捕获图像，利用该预训练的CNN模型，根据不同的形状捕获并分类实时焊缝形状图像，使机器人能够跟踪相应的焊缝路径。Chen等［12］结合人工智能的图像识别技术，开发了基于TensorFlow的深度学习神经网络程序，并应用于超声波衍射时差法（time of flight diffraction，TOFD）中图像焊缝缺陷的训练和识别。 结果表明，经过训练后，该程序能够识别焊缝的TOFD图像中典型的焊缝，识别置信度大于0.8， 证明了所开发的程序为确定焊缝TOFD图像中典型焊缝缺陷提供了有效的参考。Li等［21］对球罐等大型压力容器的焊缝，构造了深度学习网络，可在0.2~0.25 s内识别焊缝，并跟踪最大偏移为±20 mm的焊缝，机器人可以规划最短路径横穿所有焊缝。张永帅等［22］基于深度卷积神经网络的特征学习能力，提出了一种基于全卷积网络的焊缝特征提取方法。在该方法中，使用全卷积网络来预测包含焊缝特征信息的像素，并通过低级别和高级别特征信息的融合来补充焊缝的边缘特征信息。结果表明，该方法能够在强电弧和烟尘颗粒的干扰下准确地获得焊缝位置，具有抗干扰能力强、识别准确等优点。Yu等［23］使用U-Net的架构，不仅可以从很少的图像中进行端到端的训练，表现良好，而且以其实时性而闻名，为了训练网络，通过随机改变焊接电流和焊接速度进行了焊接实验，在不同焊接条件下产生各种熔池边界/形状提取数据，可以更好地确保经过训练的网络的可靠性和鲁棒性。

以上研究成果对焊接图像深度识别具有极大的参考意义，经过表1对比，表明深度学习神经网络法可以更好地保证焊缝图像识别的可靠性和鲁棒性，在研究的过程中，要考虑不同工况、不同焊缝类型、不同工艺下焊缝识别的适应性，也要考虑深度图像识别的实时性、快速性、精确性及稳定性，是极具挑战性的方向。

2 视觉焊缝跟踪技术进展及分析

焊缝跟踪作为智能焊接的关键技术，在焊接过程中起着至关重要的作用。视觉传感技术的发展和应用为获得准确的焊缝位置信息奠定了基础［24］。图像处理后，需要对焊缝进行特征识别和提取，得到焊缝位置并提取中心线，作为焊缝跟踪的基础，对于不同的焊缝类型，需要采用不同的提取方法，以保证提取效率和精度，最终实现焊炬与焊缝保持实时对中。

2.1 二维视觉焊缝跟踪技术

视觉焊缝跟踪主要优点是不接触焊接工件，进行外部信息提取，不干扰正常的焊接过程，具有获取信息量大、识别跟踪精度高、通用性强等优点，并且由于它可以得到焊接过程动态熔池的截面及深度信息，能够直接描述出焊接过程熔化金属的动态行为，可以使焊缝识别与跟踪更加直观，更适合于焊接质量控制。为了克服弧焊过程中的弧光、电弧热、飞溅以及烟雾等强烈干扰，韩沛文等［25］基于激光扫描式的主动视觉原理，设计了一套机器人焊缝自动跟踪系统，开发了直线、圆弧和直线圆弧组合连续焊缝的跟踪算法。仿真表明，该系统可用于弧焊机器人在线焊缝跟踪作业，可有效改善和提高机器人的焊接精度和质量。Ding等［26］开发了一套基于激光三角测距法的在线机器视觉焊缝跟踪系统。该系统可适用于多种坡口，并能获得±0.5 mm的在线跟踪精度，可以满足大多数焊接任务需求。邹焱飚等［27］开发了一种线激光视觉伺服控制焊缝跟踪系统，利用基于相关滤波器的算法实时检测每帧图像中焊缝特征点的位置。采用自适应模糊控制算法后，总体平均误差小于0.325 3 mm，跟踪频率达到20 Hz，能够满足一般焊接任务的实时性要求。由此可见，激光视觉伺服技术利用视觉信息作为反馈，对工况进行非接触式识别与测量，可以提高焊接机器人的快速性和精确度，被广泛应用于焊缝跟踪系统中。但是，这些视觉系统都只能提供二维灰度信息，当使用计算机处理和分析这些图像、标记和跟踪焊缝时，由于维度丢失，无法获取焊缝间的前后关系，增加了焊缝识别与跟踪的复杂度。

2.2 三维视觉焊缝跟踪技术

随着图像采集技术的发展，视觉识别技术从二维走向三维，可以很好识别层次与深度，建立复杂目标工件前景、后景清晰完整的三维形态，现阶段每秒可采集20~30帧图像信息，在焊缝识别跟踪方面具有独特的优势。Njaastad等［28］基于微软Kinect深度相机搭建了一套焊缝识别跟踪系统，并通过MATLAB工具箱和张正友方法标定相机之后，获得了2.4 mm的跟踪精度，勉强满足焊缝跟踪任务需求。Banafian等［29］提出了一种改进的边缘检测算法来封闭焊缝区域，确定焊缝和熔池三维参数，并在随机焊接条件下对不同类型的工件进行了试验，表明测量的和实际的接缝坐标之间的速度和误差有显著改进。Yin等［30］提出了一种新的三维视觉数据处理算法，基于“MATLAB中的校准工具箱”，提出了一种新的两步校准方法，该方法在摄像机校准过程中通过将线性条纹投影到校准图案板上来获取激光平面，检测到的焊接坡口三维点数据的拟合误差小于0.1 mm，机器人焊接过程中的跟踪误差不大于0.2 mm。Liu等［31］针对多层多道焊接提出了一种基于三维激光视觉的机器人焊缝跟踪系统，进行焊缝特征点提取、坐标转换、偏差计算和焊枪位置校正，实现了多层多道焊的实时焊缝跟踪，能够恢复焊缝特征信息，并准确地提取接缝特征点，平均校正误差小于0.6 mm，焊枪位置的调整过程可以在1 s内完成。三维视觉焊缝识别与跟踪取得了较好的实践结果，图像识别中可以准确提取焊缝边界及中心线，解决了熔池深度识别的问题，但较难实现不同类型焊缝实时跟踪，在焊缝轨迹跟踪过程中始终保持焊炬与焊缝对中方面还有待深入研究。

2.3 深度视觉焊缝跟踪技术

随着神经网络、模糊控制等智能控制算法的广泛应用，焊缝跟踪技术逐渐将传统PID控制与智能控制算法相结合，提高了焊缝跟踪系统的稳定性，跟踪技术的关键是实时准确信号的传递，伴随着深度视觉焊缝轨迹的识别，学者们建立了基于深度视觉焊缝跟踪系统。Zhang等［32］通过不同角度（0°、30°）的热图像，用以叠加训练，开发一种用于焊缝跟踪的最佳视觉处理算法，有效进行图像预处理，包括噪声去除、对比度增强和二值化，获得的图像采用多尺度边缘检测方法，可以很好地提取复杂的图像边缘，然后对图像进行分割，并成功地提取焊缝的边缘和中心线，达到轨迹跟踪的目的。Zou等［33］提出的序列图像多特征组合网络焊缝检测与跟踪器鲁棒性强，可以在连续超强噪声下保持极高的检测精度，建立了焊缝检测框架，将改进的SSD应用于焊缝检测，提出了基于多特征组合网络检测器的序列图像多特征组合网络，实现焊缝的快速、准确检测与跟踪。Liu等［34］创造性地应用了深度相机和激光视觉传感器的复合传感器系统，实施多层传感策略，确保焊缝的高精度检测和跟踪。同时提出了一种基于激光视觉传感器的焊缝跟踪鲁棒算法，经过自学习训练，基本可以消除平台停放误差引起的跟踪偏差，实时校正跟踪轨迹。Zhao等［35］提出了一种自适应特征提取算法，该算法可以从CNN模型识别和定位的连续、不连续或波动的激光条纹中准确地提取接缝中心，而现有模型通过训练后可以快速除去大量噪声和干扰，大大提高了算法的提取精度和处理速度，同时使用嵌入的Pauta准则对中心点数据流进行分段处理，并循环消除异常值，跟踪平均误差为0.1 mm。Zhang等［36］提出一种基于高斯过程的预测模型，将视觉信号在一个新的虚拟数字环境模型中进行了评估，对检测误差进行了量化并加以学习，实验结果表明，该方法的最大跟踪误差比标准PID控制器的跟踪误差小42%。

此类方法都是经过图像采集和深度学习处理，得到焊枪与焊缝之间的左右偏差信息，经过对偏差信息进行修正，有效地提取初始焊缝，实现了机器人运动轨迹的实时偏差修正，证明了融合深度视觉、机器人操作系统等高技术，深入研究机器人运动的优化分解、焊缝中心线深度图像的超分辨率重建等关键科学问题，可以建立图2所示基于深度视觉的焊缝跟踪控制系统。要使视觉焊缝跟踪系统同时达到适用场合广、鲁棒性好、精度高、效率好、安全机制完善仍然是一个重大挑战。

<G:\武汉工程大学\2023\第4期\王仕仙-2.tif>

图2 基于深度视觉的焊缝跟踪控制系统

Fig. 2 Weld seam tracking control system based on

deep vision

3 总结及展望

焊接过程中通常会出现大量的电弧光和飞溅现象，对焊缝图像信息的识别和处理造成很大的干扰，导致有用图像信息被淹没，焊缝特征点识别不准，无法保证自动焊接中焊枪与焊缝始终实时保持对中，导致焊接质量下降。随着计算机和视觉技术的发展，机器视觉在机器人自动焊接领域得到广泛应用，深度视觉技术可以有效识别不同的焊接对象和目标，自动修正焊接轨迹，实现轨迹跟踪。依据现有深度视觉在焊接轨迹跟踪控制中的应用现状，得出以下结论并提出展望：

（1）传统图像焊缝识别方法可以降低飞溅、弧光等外界因素的影响，在焊缝识别取得了一定效果。但此类方法一般计算量较大，执行速度缓慢，满足不了实时识别功能要求。

（2）深度图像焊缝识别方法可以更加准确、高效识别焊接边界及焊缝中心线，为轨迹实时跟踪提供有效支撑。分析了焊接面积预测方法、焊缝图像识别改进算法、多样本训练学习法、神经网络法等方法的成果及优缺点，对焊接图像深度识别具有极大的参考意义。研究表明：在焊缝图像识别过程中，考虑不同工况、不同焊缝类型、不同工艺下不同焊缝识别方法的适应性，可以实现深度图像识别的实时性、快速性、精确性及稳定性。

（3）基于深度视觉的焊缝跟踪控制系统的建立，准确快速识别焊缝轨迹，实现后续焊缝实时跟踪，以维持焊炬在整个焊接过程中始终与焊缝精确实时对中。此类方法经过图像采集和深度学习处理，得到焊枪与焊缝之间的左右偏差信息，经过对偏差信息进行修正，有效地实时提取初始焊缝，实现了机器人运动轨迹的实时偏差修正，提高了自动焊接质量与效率。建立视觉焊缝跟踪系统能同时达到适用场合广、鲁棒性好、精度高、效率好、安全机制完善是未来进一步研究的方向。