|本期目录/Table of Contents|

[1]王仕仙,陈绪兵*.焊接轨迹跟踪控制中的深度视觉研究进展[J].武汉工程大学学报,2023,45(04):378-383.[doi:10.19843/j.cnki.CN42-1779/TQ.202303003]
　WANG Shixian,CHEN Xubing*.Progress in Vision Technology in Welding Trajectory and Control[J].Journal of Wuhan Institute of Technology,2023,45(04):378-383.[doi:10.19843/j.cnki.CN42-1779/TQ.202303003]
点击复制

焊接轨迹跟踪控制中的深度视觉研究进展(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
45
期数:
2023年04期
页码:
378-383
栏目:
综述
出版日期:
2023-08-31

文章信息/Info

Title:
Progress in Vision Technology in Welding Trajectory and Control
文章编号:
1674 - 2869（2023）04 - 0378 - 06
作者:
王仕仙1; 2; 陈绪兵*1
1. 武汉工程大学机电工程学院，湖北 武汉 430205；
2. 武汉工程大学邮电与信息工程学院，湖北 武汉 430074
Author(s):
WANG Shixian1; 2;  CHEN Xubing*1
1. School of Mechanical and Electrical Engineering， Wuhan Institute of Technology， Wuhan 430205， China；
2. College of Post and Telecommunication of Wuhan Institute of Technology， Wuhan 430074， China

关键词:
深度视觉; 焊缝识别; 轨迹跟踪; 图像处理; 自动焊接
Keywords:
depth vision;  welding seam identification;  trajectory tracking;  image processing;  automatic welding
分类号:
TP242.6
DOI:
10.19843/j.cnki.CN42-1779/TQ.202303003
文献标志码:
A
摘要:
建立深度视觉的焊缝跟踪控制系统，能准确快速识别焊缝轨迹，实现焊缝实时跟踪，维持焊炬在整个焊接过程中始终与焊缝精确实时对中，在自动焊接领域应用潜力巨大。总结了传统图像焊缝识别方法和深度图像焊缝识别方法的发展现状，归纳分析了传统图像识别方法、焊接面积预测方法、焊缝图像识别改进算法、多样本训练学习法、神经网络法等方法的关键技术及优缺点。阐述了视觉焊缝跟踪技术的进展，经过图像采集和深度学习处理，实现了机器人运动轨迹的实时偏差修正，可以有效地实时提取初始焊缝，提高了自动焊接质量与效率。建立适用场合广、鲁棒性好、精度高、效率好、安全机制完善的深度视觉焊缝跟踪系统是未来进一步研究的方向。

Abstract:
Establishing a deep vision weld seam tracking control system has enormous application potential in the field of automatic welding. It can accurately and quickly identify weld seam trajectory， achieve real-time weld seam tracking， and maintain accurate real-time alignment of the welding torch with the weld seam throughout the entire welding process. The development status of traditional image weld seam recognition methods and deep image weld seam recognition methods was summarized. Then， the advantages and disadvantages of key technologies were analyzed， including traditional image recognition methods， welding area prediction methods， improved weld seam image recognition algorithms， diverse training learning methods， neural network methods， and so on. The progress of visual weld seam tracking technology was elaborated. Through image acquisition and deep learning processing， a real-time deviation correction of robot motion trajectory was achieved， which effectively extracts initial weld seams in real-time and improves the quality and efficiency of automatic welding. It is a future direction of research to establish a deep vision weld seam tracking system with wide applicability， good robustness， high accuracy， good efficiency， and complete safety mechanisms.

参考文献/References:

［1］ 熊思淇， 陈绪兵， 张聪， 等. 基于MATLAB的6R焊接机器人运动学的仿真研究［J］. 武汉工程大学学报， 2020， 42（5）：568-574.

［2］ 董涵. 基于机器视觉的焊缝定位跟踪系统的研究与实现［D］.南京：东南大学，2020.
［3］ 吴献辉， 陈绪兵， 胡泰然. 基于光栅式双目技术的3D照相技术研究［J］. 武汉工程大学学报， 2015， 37（11）：52-57.
［4］ DU R Q， XU Y L， HOU Z， et al. Strong noise image processing for vision-based seam tracking in robotic gas metal arc welding［J］. The International Journal of Advanced Manufacturing Technology， 2019， 101（5/6/7/8）： 2135-2149.
［5］ 陈华斌，孔萌，吕娜，等. 视觉传感技术在机器人智能化焊接中的研究现状［J］. 电焊机，2017，47（3）：1-7.
［6］ ZOU Y B， ZHOU W L. Automatic seam detection and tracking system for robots based on laser vision［J］. Mechatronics， 2019， 63： 102261：1-16.
［7］ HE Y S， CHEN Y X， XU Y L， et al. Autonomous detection of weld seam profiles via a model of saliency-based visual attention for robotic arc welding［J］. Journal of Intelligent & Robotic Systems， 2016， 81（3/4）： 395-406.
［8］ LI X H， LI X D， KHYAM M O， et al. Robust welding seam tracking and recognition［J］. IEEE Sensors Journal， 2017， 17（17）： 5609-5617.
［9］ 曹爽，安建成. 狼群优化的二维Otsu快速图像分割算法［J］. 计算机工程与科学，2018， 40（7）：1221-1226.
［10］ 孙惠杰，邓廷权，李艳超. 改进的分水岭图像分割算法［J］. 哈尔滨工程大学学报，2014，35（7）：857-864.
［11］ ACHANTA R， SHAJI A， SMITH K， et al. SLIC superpixels compared to state-of-the-art superpixel methods［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012，34（11）： 2274-2281.
［12］ CHEN S H， TENG X， SANG X X， et al. Automatic recognition of welding seam defects in TOFD images based on tensorflow［J］.Automatic Control and Computer Sciences，2022，56（1）：58-66.
［13］ AI Y W， LEI C， CHENG J， et al. Prediction of weld area based on image recognition and machine learning in laser oscillation welding of aluminum alloy［J］. Optics & Lasers in Engineering，2023，160：107258：1-13.
［14］ CHEN S F， YANG D Z， LIU J， et al. Automatic weld type classification， tacked spot recognition and weld ROI determination for robotic welding based on modified YOLOv5［J］. Robotics and Computer-Integrated Manufacturing， 2023， 81：102490：1-14.
［15］ NAJI O A A M， SHAH H N M， ANWAR N S N， et al. Square groove detection based on F?rstner with canny edge operator using laser vision sensor［J］. The International Journal of Advanced Manufacturing Technology，2023， 125（5/6）：2885-2894.
［16］ GAO X，LIANG Z M，ZHANG X M， et al. Penetration state recognition based on stereo vision in GMAW process by deep learning［J］. Journal of Manufacturing Processes， 2023， 89：349-361.
［17］ SINGH A， KALAICHELVI V， KARTHIKEYAN R. Performance analysis of object detection algorithms for robotic welding applications in planar environment［J］. International Journal of Computer Integrated Manufacturing， 2023，36（7）：1083-1108.
［18］ ZOU Y B， ZENG G H. Light-weight segmentation network based on SOLOv2 for weld seam feature extraction［J］. Measurement， 2023，208：112492：1-13.
［19］ GUO F， ZHENG W B， LIAN G F， et al. A v-shaped weld seam measuring system for large workpieces based on image recognition［J］. The International Journal of Advanced Manufacturing Technology， 2023，124（1/2）：229-243.
［20］ SINGH A， KALAICHELVI V， KARTHIKEYAN R. Application of convolutional neural network for classification and tracking of weld seam shapes for TAL brabo manipulator［J］. Materials Today： Proceedings， 2020，28（2）：491-497.
［21］ LI J， JIN S S， WANG C J， et al. Weld line recognition and path planning with spherical tank inspection robots［J］. Journal of Field Robotics， 2022， 39（2）：131-152.
［22］ 张永帅，杨国威，王琦琦，等. 基于全卷积神经网络的焊缝特征提取［J］. 中国激光， 2019， 46（3）：0302002：1-8.
［23］ YU R， KERSHAW J， WANG P， et al. Real-time recognition of arc weld pool using image segmentation network［J］. Journal of Manufacturing Processes， 2021， 72：159-167.
［24］ HU Z W， CHENG W， GE H L， et al. Research progress of robot vision sensing weld seam tracking technology［J］. Journal of Physics： Conference Series， 2022，2395： 012058：1-7.
［25］ 韩沛文，周靖，蒋林，等. 基于激光传感器的弧焊机器人焊缝跟踪研究［J］. 电焊机， 2017， 47（10）：94-98.
［26］ DING Y Y， HUANG W， KOVACEVIC R. An on-line shape-matching weld seam tracking system［J］. Robotics and Computer-Integrated Manufacturing， 2016， 42： 103-112.
［27］ 邹焱飚，王研博，周卫林. 焊缝跟踪应用的线激光视觉伺服控制系统［J］. 光学精密工程， 2016， 24（11）：2689-2698.
［28］ NJAASTAD E B， EGELAND O. Automatic touch-up of welding paths using 3D vision［J］. IFAC-Papers Online， 2016， 49（31）： 73-78.
［29］ BANAFIAN N， FESHARAKIFARD R， MENHAJ M B. Precise seam tracking in robotic welding by an improved image processing approach［J］. The International Journal of Advanced Manufacturing Technology， 2021，114（1/2）：251-270.
［30］ YIN Z Q， MA X Q， ZHEN X， et al. Welding seam detection and tracking based on laser vision for robotic arc welding［J］. Journal of Physics： Conference Series， 2020，1650（2）：022030：1-10.
［31］ LIU C F， SHEN J Q， HU S S， et al， Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding［J］. Engineering Applications of Artificial Intelligence， 2022，116：105377：1-14.
［32］ ZHANG G， YUN T J， OH W B. A study on seam tracking in robotic GMA welding process［J］. Materials Today： Proceedings， 2020，22（4）：1771-1777.
［33］ ZOU Y B， ZHU M Q， CHEN X Z. A robust detector for automated welding seam tracking system［J］. Journal of Dynamic Systems， Measurement， and Control， 2021，143（7）：071001：1-14.
［34］ LIU C， WANG H， HUANG Y， et al. Welding seam recognition and tracking for a novel mobile welding robot based on multi-layer sensing strategy［J］. Measurement Science and Technology， 2022，33（5）：055109：1-13.
［35］ ZHAO X H， ZHANG Y W， WANG H， et el. Research on trajectory recognition and control technology of real-time tracking welding［J］. Sensors， 2022，22（21）： 8546：1-22.
［37］ ZHANG Z H， MALASHKHIA L， ZHNG Y， et al. Design of Gaussian process based model predictive control for seam tracking in a laser welding digital twin environment［J］. Journal of Manufacturing Processes， 2022，80：816-828.

相似文献/References:

备注/Memo

备注/Memo:
收稿日期：2023-03-01
基金项目：湖北省中央引导地方科技发展专项（2019ZYYD010）
作者简介：王仕仙，博士研究生，副教授。E-mail：[email protected]
*通讯作者：陈绪兵，博士，教授。 E-mail：[email protected]
引文格式：王仕仙，陈绪兵. 焊接轨迹跟踪控制中的深度视觉研究进展［J］. 武汉工程大学学报，2023，45（4）：378-383，417.
更新日期/Last Update: 2023-08-31