信息科学与工程

基于相关滤波的FSW焊缝特征跟踪算法

  • 胡为 , a ,
  • 李变童 a ,
  • 姬书得 b ,
  • 王元胜 a
展开
  • a. 沈阳航空航天大学,自动化学院,沈阳 110136
  • b. 沈阳航空航天大学,航空宇航学院,沈阳 110136

胡为(1979—),男,辽宁沈阳人,教授,博士,主要研究方向为工业过程自动检测及控制,E-mail:

收稿日期: 2024-12-30

  修回日期: 2025-01-08

  录用日期: 2025-01-10

  网络出版日期: 2025-12-25

基金资助

国家自然科学基金(52174366)

辽宁省教育厅科学基金(JYTMS20230277)

The weld seam feature tracking algorithm based on correlation filtering in FSW

  • Wei HU , a ,
  • Biantong LI a ,
  • Shude JI b ,
  • Yuansheng WANG a
Expand
  • a. College of Automation, Shenyang Aerospace University,Shenyang 110136,China
  • b. College of Aerospace Engineering, Shenyang Aerospace University,Shenyang 110136,China

Received date: 2024-12-30

  Revised date: 2025-01-08

  Accepted date: 2025-01-10

  Online published: 2025-12-25

摘要

为提升搅拌摩擦焊(friction stir welding, FSW)在焊缝遮挡等干扰下的视觉跟踪精度,提出了一种基于人工特征的高效卷积算子(efficient convolution operators with hand-crafted features, ECO-HC)的焊缝特征跟踪算法。该算法采用传统图像处理技术进行初始焊缝特征点的检测,同时在ECO-HC算法的基础上设计了由相似性计算和峰值旁瓣比组成的双重置信度评估机制,增强算法对异常干扰的敏感度,并提出了一种基于曲线拟合的轨迹预测方法,实现对丢失目标的重定位。利用不同厚度的铝合金焊件进行实验,结果表明,焊缝跟踪系统的平均绝对误差能够控制在0.051 mm之内,完全满足焊缝跟踪的精度要求,也证明了所提算法的有效性。

本文引用格式

胡为 , 李变童 , 姬书得 , 王元胜 . 基于相关滤波的FSW焊缝特征跟踪算法[J]. 沈阳航空航天大学学报, 2025 , 42(6) : 55 -62 . DOI: 10.3969/j.issn.2095-1248.2025.06.007

Abstract

To improve visual tracking precision for friction stir welding under weld seam occlusion and other interference, a weld seam feature tracking algorithm based on the ECO-HC was proposed. A traditional image processing technology was employed to detect the initial weld seam feature point, while enhancing the sensitivity of the algorithm to abnormal disturbances by introducing a dual confidence assessment mechanism comprising similarity calculation and peak to sidelobe ratio on the basis of the ECO-HC algorithm. Additionally, a trajectory prediction method based on curve fitting was proposed to achieve the relocalization of lost target. Experiments were conducted on aluminum alloy weldments of varying thicknesses. The experimental results show that the mean absolute error of the weld seam tracking system proposed can be maintained within 0.051 mm, which fully meets the precision requirement for weld seam tracking and demonstrates the effectiveness of the algorithm proposed.

搅拌摩擦焊是一种高效固相焊接技术,于20世纪90年代由英国焊接研究所提出1,广泛应用于航空航天领域,特别是运载火箭贮箱等大型铝合金结构件的制造2-3。由于上述产品服役环境严苛,对其制造精度要求极高4。其在焊接过程中易受安装误差、间隙变化、热变形及搅拌头尺寸等因素影响[5-6,导致实际轨迹偏离理论路径,产生缺陷,因此需对焊缝轨迹进行实时检测与纠偏以保证焊接质量。
在焊缝检测方面,学者已有诸多研究。Kiddee等7利用Hough变换和最小二乘法拟合确定焊缝位置;冯冬冬8通过图像预处理、二值化、骨架提取与特征识别实现定位。这类传统图像处理方法计算成本低,但在焊接中易受光照变化和遮挡等干扰,难以长时间保持稳定跟踪。
申俊琦等9提出基于改进U-net网络的焊缝提取算法,可应对强噪声干扰,但其网络结构复杂,对计算性能要求高,且需要进行大量样本训练,成本较高10
在上述研究的基础上,有学者在焊缝检测问题中引入相关滤波跟踪算法。刘宜鑫11将相关滤波算法(kernel correlation filter,KCF)与自主学习跟踪(tracking learning detection,TLD)算法结合,实现遮挡判断下的焊缝跟踪,具有一定适应性,但未处理目标丢失后的重定位问题,影响跟踪准确性。
针对上述问题,本文融合传统图像处理与相关滤波目标跟踪算法,提出一种兼顾准确性与实时性的FSW焊缝检测方法。焊前通过传统图像处理技术从含噪声的激光图像中提取初始焊缝特征点,确定跟踪区域;焊接过程中采用改进的相关滤波算法实时跟踪,引入置信度判断机制,并在目标丢失时进行重定位。实验表明,该方法显著提升了跟踪准确率。

1 焊缝特征跟踪算法

本文提出的FSW焊缝特征跟踪算法流程如图1所示,主要包括初始焊缝特征点检测与改进的ECO-HC跟踪算法。首先,通过传统图像处理算法检测焊缝特征点,并初始化滤波器模型;随后,获取视频帧,提取感兴趣图像区域特征,经特征降维后与滤波器卷积以获取最大响应位置;最后,通过双重置信度评估该位置的准确性。若通过评估,则将目标信息加入样本空间模型并更新滤波器,输出焊缝位置;若未通过,则启动目标丢失重定位。
图1 FSW焊缝特征跟踪算法流程

1.1 初始焊缝特征点检测算法

焊接开始前,由于激光视觉系统采集的焊缝图像干扰较小,所以采用传统图像处理算法进行初始焊缝特征点的检测,算法步骤如下。
1)图像预处理:首先使用频率调谐(frequency-tuned,FT)显著性检测算法12处理原图像,既可以减少图像中的噪声和无关信息,也可以突出激光区域,一定程度上提高了图像质量(如图2b所示),随后进行灰度化处理。
图2 初始焊缝特征点检测效果图
2)形态学处理:依次进行开运算和闭运算。因焊缝间隙导致一字线激光产生形变,经此处理后(如图2c),不仅进一步抑制了图像噪声,也使激光条纹更平滑,有效降低了线激光小范围形变对后续中心线提取的干扰。
3)边缘检测:为了提取激光条纹中心线,需要先得到去形变后的平滑激光条纹的两条边缘线。在此使用Sobel算子进行边缘检测,准确检测出了激光边缘(如图2d所示)。
4)获取激光条纹中心点:为了通过激光条纹中心线得到焊缝特征点的位置坐标,需要先获取激光条纹的中心点。逐行遍历边缘点并取平均值,得到激光条纹中心点位置(如图2e所示)。
5)提取激光条纹中心线:经过第4步处理后,得到一组在直线附近小范围波动的中心点,故需通过直线拟合来确定激光条纹中心线。使用随机采样一致性(random sample consensus,RANSAC)算法对所有中心点进行拟合,该算法可有效剔除局外点,提高拟合鲁棒性,拟合效果较好(如图2f所示)。
6)确定焊缝特征点坐标:分析图像可知,焊缝处形变凸点的y坐标即为特征点y坐标,又知在经过去噪处理后,激光图像上凸点处距条纹中心线的横向距离最远,据此可得出凸点坐标,即也可得出焊缝特征点的y坐标,代入拟合直线方程即得焊缝特征点坐标。凸点所在行与激光条纹中心线的交点即为焊缝特征点位置(如图2g所示)。

1.2 改进ECO-HC的焊缝特征跟踪算法

为了解决ECO-HC算法在搅拌摩擦焊实时焊接过程中,因焊缝易被飞溅的小飞边遮挡导致的低跟踪率问题,在原算法的基础上,结合本文应用场景,提出了双重置信度评估机制和目标丢失重定位两种方法,用以提高算法的跟踪准确率。

1.2.1 ECO-HC算法

ECO-HC是一种判别式相关滤波目标跟踪算法,为高效卷积算子目标跟踪(efficient convolution operators for tracking,ECO)算法采用人工特征提取的版本13。ECO算法使用CNN、HOG和CN 3种特征,跟踪精度高,但跟踪速度只有8 FPS。相比而言ECO-HC算法只使用了HOG和CN两种传统特征,虽然跟踪精度略低于ECO算法,但跟踪速度却达到了60 FPS14。基于上述描述,由于本工业焊接场景具有实时性跟踪要求,故选择ECO-HC算法。算法使用一个插值模型将提取到的离散特征转换到连续空间内。不同特征提取算法提取的不同分辨率的特征相结合,能够实现亚像素级别的定位精度15,非常适合焊缝特征点的跟踪,如式(1)所示。
J d x d t = n = 0 N d - 1 x d n b d t - T N d n
式中: b d为一个周期 T > 0的插值核; J d x d为一个插值特征层,可视为一个连续的周期函数。
为了降低跟踪器的时间和空间复杂度,提出了分解卷积的方法以降低模型中参数的个数,如式(2)所示,引入一个dc列的矩阵 P,将原滤波器的个数由d缩减成c
S P f x = P f * J x                = c , d p d , c f c * J d x d                = f * P T J x
式中: S P f x为响应分数;f为滤波器模型。
最后,在频域中最小化式(3)的分类损失函数来学习滤波器,其中 z = J x
E ( f , P ) = z ^ T P f ^ - y ^ L 2 2 + c = 1 C ω ^ * f ^ c L 2 2                     + λ P F 2

1.2.2 双重置信度评估

考虑到原ECO-HC算法只是对每帧的跟踪结果进行输出,缺乏焊缝跟踪丢失的判断机制。当目标跟踪丢失时,算法不能有效地进行调整,依旧将错误的样本信息加入样本空间模型去更新滤波器,导致样本空间被污染,也会引起后续的跟踪漂移。针对以上问题,本文提出由相似性计算和峰值旁瓣比组成的双重置信度评估机制来评估跟踪结果的正确性。
1)相似性计算
在搅拌摩擦焊的焊接过程中,焊缝处的激光图像结构特征基本不会发生变化,当跟踪正确时,当前帧跟踪结果应与初始跟踪目标之间的结构相似性较大;当跟踪错误时,当前帧跟踪结果与初始跟踪目标之间的结构相似性较小。
本文使用结构相似性指数(structural similarity index measure,SSIM)来评估两个目标图像xy之间的相似性。其考虑了图像中亮度、对比度和结构3个方面的信息16。其中亮度为
l ( x , y ) = 2 μ x · μ y + C 1 μ x 2 + μ y 2 + C 1
对比度为
c ( x , y ) = 2 σ x · σ y + C 2 σ x 2 + σ y 2 + C 2
结构为
s ( x , y ) = σ x y + C 3 σ x · σ y + C 3
将式(4)—(6)相乘,并令 C 3 = 1 2 C 2,可得两幅图像的结构相似度为
S ( x , y ) = ( 2 μ x · μ y + C 1 ) ( 2 σ x y + C 2 ) ( μ x 2 + μ y 2 + C 1 ) ( σ x 2 + σ y 2 + C 2 )
式中: μ x μ y分别为两张图像的均值; σ x σ y分别为两张图像的方差; σ x y为两张图像的协方差; C 1 C 2为非0常数。 S [ 0,1 ],其值越接近于1,两张图像的相似性越大。
2)峰值旁瓣比
为了降低单一置信度判别策略存在的局限性,在相似性计算的基础上,又使用了基于峰值旁瓣比(peak to sidelobe ratio, PSR)的置信度判别策略。PSR的计算公式为
P S R = P m a x - μ s σ s
式中: P m a x为峰值的响应值; μ s σ s分别为峰值旁瓣区域的平均值和标准差。峰值旁瓣是指窗口中除了峰值之外的周围11 × 11区域的像素17
基于以上描述,定义第k帧时的焊缝跟踪结果置信度 θ ( t )
θ ( t ) = 1 ,     i f     S < S t , P S R < P t 0 ,    其他
当跟踪结果的结构相似性指数 S < S t且峰值旁瓣比 P S R < P t时, θ ( t ) = 1,证明跟踪丢失,需要进行目标丢失重定位。

1.2.3 目标丢失重定位

在焊缝检测过程中,与传统的弧焊相比,虽然搅拌摩擦焊不会受到烟尘的干扰,但有时也会发生飞溅物遮挡焊缝及噪声等影响导致目标短暂跟踪失败。为了保证焊接的连续性、提高搅拌摩擦焊的接头质量,在短期目标丢失的情况下,需要对焊缝轨迹进行高精度预测,本文提出了一种基于函数拟合的轨迹预测方法来进行目标丢失重定位。
在轨迹拟合方面,基于最小二乘的多项式拟合模型被证明在拟合无规律离散数据上具有较高的准确性18。由于在本文焊接过程中存在不同程度的机器振动,导致获取的焊缝轨迹具有无规律的波动特征,一阶多项式线性模型无法捕捉到数据的复杂性。为了提高拟合的准确性,并尽可能地限制预测轨迹的大幅波动,本文结合一阶多项式和对数函数,设计了如式(10)所示的非线性函数模型对焊缝位置数据进行拟合。
f y ( t ) = a 0 + a 1 t + a 2 l n ( a 3 t + 1 )
式中: f y ( t )为焊缝y像素坐标关于时间t的函数,因为后期的焊接纠偏只作用在垂直焊缝方向,故只考虑y方向的位置,不考虑x方向。
目标的当前位置只与最近一段历史轨迹有较强联系,时间相隔越远联系越弱。为了避免过多历史轨迹数据影响预测准确率,只需对较近的历史轨迹进行拟合,从而使用拟合模型进行短期轨迹预测。在本文中,若判定当前帧目标丢失,当前轨迹预测算法步骤如图3所示。
图3 轨迹预测算法步骤
取当前第k帧的前n帧历史轨迹数据并与基准第k-n帧的数据相减,形成增量数据序列,并对此数据序列进行拟合,接着将当前时间帧带入拟合后的函数来预测本帧的增量位置,最后将求得的增量位置数据与基准第k-n帧的数据相加进行还原,即可预测得出本帧的焊缝位置。将获取的历史轨迹数据处理成增量数据序列进行拟合,可以提高拟合精度,从而进一步提高预测精度。
基于上述描述,对本文所提基于曲线拟合的轨迹预测方法进行实验,以验证算法的预测效果。实验所使用的轨迹数据为随机选取的10帧利用ECO-HC算法检测到的激光条纹焊缝图像中焊缝点的位置数据,对未来短期内的6帧轨迹进行拟合预测。将多项式函数模型预测方法和本文所提方法进行对比,其中多项式函数采用二阶多项式。轨迹预测效果如图4所示,可以看出本文方法较多项式拟合预测方法具有更高的预测精度。
图4 轨迹预测效果

2 实验与分析

本文对接型搅拌摩擦焊进行了焊缝特征跟踪实验,以验证焊缝跟踪系统的可靠性。搭建了如图5所示的由工业相机、镜头和线激光器组成的激光视觉系统,并将此系统安装在搅拌头前端。系统使用的相机为大恒公司生产的MARS-2621-42GTM,采集帧率为41.8,分辨率为5 120×5 120;激光器为深圳蓝宇激光公司的JBP40510Z-12型一字线激光;工业相机垂直于焊接工件,工作距离为7.7 cm。工作过程中,激光器发射一字线激光与待焊工件相交,工业相机拍摄焊缝激光条纹图像并传输给计算机进行焊缝特征点的检测。
图5 激光视觉系统
在应用原ECO-HC目标跟踪算法的情况下,当焊缝点无遮挡时,临近焊缝区域的焊缝跟踪效果如图6所示。长方形框里的是焊缝感兴趣区域,实心点标注的是焊缝特征点的位置,虚线标注的是真实焊缝位置。
图6 无遮挡时应用ECO-HC算法的焊缝跟踪效果
图6所示,在无遮挡情况下,原ECO-HC算法能够准确跟踪焊缝,效果良好。但如图7所示,当焊缝被遮挡时,由于滤波器持续更新,导致跟踪发生漂移。应用本文算法后,从图8的改进效果可以看出,焊缝已实现正确跟踪,证明了本文算法的可行性。
图7 有遮挡时应用ECO-HC算法的焊缝跟踪效果
图8 有遮挡时应用本文算法的焊缝跟踪效果
为了进一步对比本文所提算法与原ECO-HC算法的焊缝跟踪效果,接着对两种算法的跟踪结果进行了定量分析。针对厚度在3~5 mm之间的铝合金焊件,设计了6组实验,焊缝特征点的平均绝对跟踪误差如表1所示。对数据进行分析,可得本文跟踪算法的平均绝对误差可以控制在0.051 mm之内,与原算法相比有效降低了跟踪误差。其中第二组实验的焊缝跟踪轨迹及跟踪误差曲线如图9所示。
表1 平均绝对跟踪误差 (mm)
组别 厚度 ECO-HC 本文算法
1 3 0.089 0.051
2 3 0.058 0.047
3 4 0.086 0.048
4 4 0.068 0.049
5 5 0.077 0.047
6 5 0.069 0.046
图9 焊缝跟踪定量对比
图9可知,使用原ECO-HC算法对焊缝特征进行跟踪时,在第165帧和266帧附近发生了跟踪漂移,跟踪误差急剧增大,但在使用本文所提算法后有效解决了漂移问题,也显著降低了跟踪误差。

3 结论

针对搅拌摩擦焊在视觉辅助焊接过程中的焊缝跟踪问题,本文设计了一套基于激光视觉的焊缝跟踪系统,配置2 600万像素的高分辨率工业相机采集线激光器投射在焊缝处的激光条纹图像。首先,使用传统图像处理算法检测图像上焊缝点的位置;然后,使用改进的ECO-HC算法对图像进行实时的焊缝特征跟踪处理;最后,进行了多组实验。实验结果表明,本文算法有效解决了在焊接过程中焊缝被短暂遮挡导致的丢失问题,系统的平均绝对跟踪误差可以控制在0.051 mm之内,完全满足工业现场焊缝跟踪的使用要求。
[1]
栾国红,关桥.高效、固相焊接新技术:搅拌摩擦焊[J].电焊机200535(9):8-13.

[2]
马领航,李波,赵彦广,等.火箭贮箱焊接缺陷修复技术研究现状[J].电焊机202353(3):31-45.

[3]
刘东豪.2219铝合金厚板FSW焊缝成形成性规律与工艺改进[D].长沙:中南大学,2023.

[4]
王子德.机器人搅拌摩擦焊系统集成及焊缝自动跟踪研究[D].哈尔滨:哈尔滨工业大学,2021.

[6]
朱承科.基于视觉引导的焊接机器人焊缝纠偏技术的研究[J].机械管理开发202439(1):292-294.

[7]
Kiddee P Fang Z J Tan M.A geometry based feature detection method of V-groove weld seams for thick plate welding robots[C]//2017 2nd International Conference on Control and Robotics Engineering.Bangkok:IEEE,2017:43-48.

[8]
冯冬冬.基于激光视觉的搅拌摩擦焊焊缝跟踪系统研究[D].济南:山东大学,2016.

[9]
申俊琦,刘晨帆,胡绳荪,等.基于改进型U-net神经网络的焊缝图像处理[J].天津大学学报(自然科学与工程技术版)202356(4):436-442.

[10]
杜健准,高向东,黎扬进,等.基于改进TLD算法的激光视觉传感型焊缝跟踪[J].激光技术202145(3):292-297.

[11]
刘宜鑫.基于相关滤波的焊缝跟踪算法研究[D].成都:电子科技大学,2022.

[12]
Achanta R Hemami S Estrada F,et al.Frequency-tuned salient region detection[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE,2009:1597-1604.

[13]
刘刚阳,胡博,王宇庆.基于改进ECO-HC的目标跟踪方法[J].液晶与显示202338(8):1118-1127.

[14]
Danelljan M Bhat G Khan F S,et al.ECO:efficient convolution operators for tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:6931-6939.

[15]
陈涛.强噪声下的激光视觉焊缝跟踪系统研究[D].广州:华南理工大学,2020.

[16]
Chen G Liao Y W Yang Z G, et al. A multi-scale generative adversarial network image resto-ration algorithm based on multi-feature fusion[J].Computer Applications202343(2):9-21.

[17]
Bolme D S Beveridge J R Draper B A, et al.Visual object tracking using adaptive correlation filters[C]//2010 IEEE Computer Society Confere-nce on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010:2544-2550.

[18]
胡俊,朱庆保.基于动态预测目标轨迹和围捕点的多机器人围捕算法[J].电子学报201139(11):2480-2485.

文章导航

/