信息科学与工程

基于点云薄切技术的协作机器人喷漆轨迹规划算法

  • 石祥滨 ,
  • 李泓锦 ,
  • 黄盛
展开
  • 沈阳航空航天大学 计算机学院,沈阳 110136

石祥滨(1963-),男,辽宁沈阳人,教授,博士,主要研究方向:计算机视觉,E-mail:

收稿日期: 2024-03-07

  网络出版日期: 2024-08-30

基金资助

国家自然科学基金(61170185)

Collaborative robot painting trajectory planning algorithm based on point cloud thin-slicing technology

  • Xiangbin SHI ,
  • Hongjin LI ,
  • Sheng HUANG
Expand
  • College of Computer Science,Shenyang Aerospace University,Shenyang 110136,China

Received date: 2024-03-07

  Online published: 2024-08-30

摘要

针对传统喷漆轨迹规划算法中需要大量搜索最近点对的缺陷,提出一种基于点云薄切技术的初始轨迹点提取算法。该算法通过计算点云模型密度确定切片厚度,并将薄片上的点设定为初始轨迹点,通过避免点对搜索的方式提高了运行效率。为解决传统线性插值算法导致的轨迹精度不足和曲率过大等问题,提出一种轨迹拟合算法。该算法首先将三维空间中的轨迹点映射到二维坐标系,并引入孤立森林算法去除轨迹点异常值,然后结合曲线拟合方法进行轨迹规划。实验结果表明,该算法规划的轨迹具有更高的精度和光滑度,同时提升了算法的整体运行效率。

本文引用格式

石祥滨 , 李泓锦 , 黄盛 . 基于点云薄切技术的协作机器人喷漆轨迹规划算法[J]. 沈阳航空航天大学学报, 2024 , 41(3) : 53 -60 . DOI: 10.3969/j.issn.2095-1248.2024.03.008

Abstract

To address the drawback of traditional painting trajectory planning algorithm requiring extensive searching for nearest point pairs,a initial trajectory point extraction algorithm based on the point cloud thin-slicing technology was proposed.This algorithm determined slice thickness by calcula-ting the density of the point cloud model and designated points on the slice as initial trajectory points, thus improving operational efficiency by avoiding point pair searches. To tackle issues such as insufficient trajectory precision and excessive curvature caused by traditional linear interpolation algorithm, a trajectory fitting algorithm was introduced. This algorithm firstly maped trajectory points in three-dimensional space to a two-dimensional coordinate system and utilized the isolation forest algorithm to eliminate outlier trajectory points,followed by combining curve fitting methods for trajectory planning. Experimental results demonstrate that the trajectories planned by this algorithm exhibit higher precision and smoothness, while also enhancing the overall efficiency of the algorithm.

协作机器人是一种能够与人类在生产线上协同作业的新型工业机器人,它结合了机器人的效率与人类的智慧,具有高性价比、智能、安全等优点1。随着协作机器人在智能制造领域的广泛应用,精确高效的轨迹规划算法变得至关重要2。本文以汽车部件喷漆任务为背景,研究协作机器人的喷漆轨迹规划问题,旨在提高生产效率、降低人力成本并改善喷漆质量。
近年来,许多学者致力于研究协作机器人的喷漆轨迹规划算法。Zhou等3提出了一种基于圆柱体的喷涂模型,通过将复杂曲面逼近为简单的圆柱,并结合Beta分布模型和微分几何原理进行轨迹规划。Chen等4使用平面片邻接图(flat patch adjacency graph,FPAG)方法对3D实体进行分片,并在每个分片上规划喷漆路径,然后通过改进的智能优化算法解决了喷漆轨迹的最优集成问题。Jan等5提出一种基于最小生成树和三角网格的轨迹规划方法,并通过三角形合并策略减少了喷涂过程中的转弯次数。Li等6提出一种基于漆膜厚度均匀性的轨迹规划方法,并设计首尾变速缓冲区以实现匀速喷涂,但其主要针对于平面件,难以适应复杂曲面。此外,上述算法大多基于计算机辅助设计(computer aided design,CAD)模型、网格模型或普通数学模型,对于复杂曲面建模有一定困难,数据特征识别也存在挑战。
随着激光扫描仪的发展,研究者开始利用点云数据进行喷漆轨迹规划。Chen等7利用点云切片方法求解工件表面的路径信息,但由于使用了手动区域分割,在一定程度上影响了结果的准确性和一致性。Gleeson等8在此基础上将轨迹段的位置和时间长度作为优化变量,进一步提升轨迹精度。Tiboni等9提出了端到端的深度学习网络PaintNet,将点云模型作为输入,输出喷涂位姿序列,但该网络在稳定性和可迁移性方面仍存在问题。此外,Tadic等10、Tasnim等11和Gülırmak等12等尝试在硬件上加以改进,使用不同精度的激光相机进行建模并优化喷枪控制算法,但并未对初始轨迹规划算法进行改进。Yu等13提出一种自动化点云切片算法,可自主确定切片方向并进行轨迹规划。但由于需要在切片两端进行最近点对搜索,其算法复杂度较高。Lu等14根据点云法向量的分量将模型进行分割,并在子部分上进行切片,近似得到喷涂路径。但对于曲率变化大的自由曲面,会损失更多细节特征。此外,现有算法中使用的切片方式复杂度过高,且其中的插补算法只适用于形状相对规则的表面,使复杂曲面轨迹精度显著降低。
对此,本文根据重建后的点云模型稀疏性选取合适的切片阈值,提出一种点云薄切算法,通过避免最近点对的搜索过程提升算法的效率。在得到初始轨迹点的同时,将其合理映射到二维坐标系中进行处理。随后通过引入孤立森林15(isolation forest,Iforest)算法去除初始轨迹点异常值,并结合多项式拟合方法对轨迹进行曲线拟合。最后根据一定的步长选取机器人运动的轨迹点,并通过计算轨迹点法向量来确定喷头的具体姿态。算法流程图如图1所示,实验表明该算法的运行速度更快,生成轨迹的精度和光滑度更高。
图1 本文算法流程图

1 轨迹规划

传统点云切片算法采用最近点对搜索策略以获得初始轨迹点,如图2所示,切面Π分别沿其法矢量方向与反方向等距平移距离δ/2,得到两个新平面ΠRΠL,其中δ定义为轨迹间隔。切面ΠΠLΠR 之间构成的切片与点云的交点分别记为PLi i 1 , n LPRi i 1 , n R。通过求取PLiPRi 的最近连线与切面Π的交点,可近似表达该模型的局部轮廓。
图2 最近点对连线交点示意图
该算法简单可行,但搜索最近点对耗时较长。针对这一问题,林森等16设计了一种立体包围盒方法,如图3所示。在ΠLΠ之间选取点PLi,以PLi 为中心,δ/2为边长构建立方体包围盒。若包围盒内PRi 点数量过多或过少,则动态调整包围盒大小。然后在包围盒内搜索与PLi 距离最近的PRi 点,记为P li-near。再在PLi 中查找与P li-near距离最近的点P' Li。若P' LiPLi 重合,则将PLiP li-near标记为匹配点对,否则不保存该点对,并标记PLi 为已遍历。重复以上步骤,直至遍历PLi 中的每一点。虽然重新设计的搜索方法提高了运行速度,但该算法仍较为复杂。因为它仍需搜索最近点对,只是减少了一半的遍历点数,因此对算法执行效率的提升有限。
图3 立体包围盒结构示意图

1.1 初始轨迹点提取

针对传统方法的不足,本文提出一种点云薄切算法进行喷漆轨迹规划避免频繁搜索最近点对。首先,根据点云表面形状特征信息进行点云姿态变换17,便于后续进行薄片切割。具体步骤如下:
(1)计算点云模型整体协方差矩阵,以反映点云整体形状特征。首先使用式(1)计算点云质心,再利用质心计算点云协方差矩阵。
μ = 1 N i = 1 N p i = x ¯ , y ¯ , z ¯ T , Σ t r a n s f o r m = 1 N i = 1 N p i - μ p i - μ T
(2)求解协方差矩阵 Σ t r a n s f o r m的特征向量矩阵 V = v 1 , v 2 , v 3,则点云姿态变换矩阵如式(2)所示
T t r a n s f o r m = V T - V T μ 0 1
通过以上步骤可以识别点云模型的表面特征信息,并将点云姿态转换到利于切片的位置,如图4所示。
图4 点云初始姿态变换图
由于点云的特征向量是按照其特征值的大小进行升序排列的,而经过式(2)进行变换后,点云坐标系的xyz轴分别对应3个特征向量,并将点云质心移至坐标原点处。所以根据特征向量的意义可知,点云变换之后,特征最明显的方向为第3特征向量的方向,对应于z轴。因此,选择垂直于z轴的切片方向即可得到最优的轨迹方向。
接下来,使用点云薄切思想对点云进行切割,切割方向垂直于z轴。设喷嘴的喷涂直径为δ,首先计算点云P中的点在z轴方向的最大值max z 和最小值min z。设初始切割位置为z 1,并以δ为切割步长,需要切割的次数为n cut,则每次切割位置zj 的计算如式(3)所示
z 1 = m i n z + δ / 2 , n c u t = ( m a x z - m i n z ) / δ , z j = z j - 1 + δ ,    j [ 2 , n c u t ]
设点云密度为ρP,则每个点云薄片的左右边界为 𝓁 j = z j ± ρ P。其中点云密度的计算方法如式(4)所示
ρ P = 1 N i = 1 N d i , 2 , d i , 2 = | | p i - p k ( i , 2 ) | | 2
式中:N为点云总点数;di, 2为第i个点与其第二近邻点的距离平方; k ( i , 2 )为点i的第二近邻点下标。用Poj 表示第j条轨迹上的初始点集,则Poj 可用式(5)进行计算,初始点集选取算法可在 o ( n )复杂度内执行完毕。
P o j = ( x i , y i , z i ) P 𝓁 L j < z i < 𝓁 R j
已知喷枪高度为h,则获得初始点集后,需要将其沿法向量反方向移动h,得到点集PHj。计算方法如式(6)所示。
P H j = ( x i , y i , z i ) P o j x i , y i , z i = x i , y i , z i - n i T h
其中法向量 n i的计算方法如式(7)所示
n i = a r g m i n n j = 1 k | | n ( p i j - p i ) | | 2
对于每个点pi,在其周围选取k个最近邻点,然后通过最小二乘法拟合一个平面,从而得到该点的法向量 n i,法向量方向代表喷枪的实际方向,如图5所示。
图5 喷枪方向示意图

1.2 轨迹曲线拟合

为了便于后续曲线拟合算法的执行,本文将经过垂直移动后的原始轨迹点在二维平面上进行投影。由于每条轨迹的z坐标相同,因此仅需保留xy坐标的值。通过这种方式,每条轨迹都被映射到一个二维坐标系中,便于进行后续的数据处理和分析。在进行曲线拟合前,本文引入孤立森林异常值去除方法18过滤轨迹中的异常值。通过该算法,可有效地去除可能对曲线拟合产生干扰的异常数据,提高拟合准确性和可靠性。
正常轨迹点在特征空间中是相对密集的,而异常点则相对稀疏。孤立森林利用随机划分来构建孤立树,它通过随机选择一个特征和切割值递归地将数据划分成不同子空间。正常轨迹点需要更多的分割次数才能被孤立,而异常点则可在较少的分割次数内被孤立。通过这种方式,孤立森林可以快速识别出异常轨迹点,且不依赖于样本的距离度量,这使得它能够适应各种数据分布。孤立森林的构建步骤如下:
(1)给定轨迹点集 P H j = p 1 , , p n,由于轨迹点已被投影到二维坐标系中,所以特征的维度d=2。
(2)随机从 P H j中选取大小为 ψ的子点集,并随机选取一个特征q和其分割值k,其中k的范围在当前子集数据中指定特征q的最大值与最小值之间,并利用分割值k对子点集进行分割。
(3)递归执行步骤(2),建立一个孤立树,当树节点只有一个样本或树达到限制高度 l =   c e i l i n g   l o g 2 ( ψ )时结束递归。
(4)执行t次步骤(3),组成含有t个孤立树的孤立森林。遍历轨迹点集 P H j,对每个轨迹点进行异常评估,异常评分s的计算方法如式(8)所示。
c ( ψ ) = 2 H ( ψ - 1 ) - 2 ( ψ - 1 ) / ψ , H ( ψ - 1 ) = l n ( ψ - 1 ) + γ , s ( p , ψ ) = 2 - E ( h ( p ) ) c ( ψ )
式中:γ为欧拉常数; E ( h ( p ) )为点p在一批孤立树中路径长度的期望值。当 E ( h ( p ) ) 0时, s 1,则判定点p为异常轨迹点;当 E ( h ( p ) ) ψ - 1时, s 0,则判定点p为正常轨迹点。
此外,为了提高曲线拟合精度,设定轨迹间隔阈值θ gap,若每段轨迹中的两个点在x轴方向的距离大于θ gap,则将这两点左右两端的轨迹分离,分别进行曲线拟合,再用线性插值点连接中间间隔。
使用本文的多项式法对轨迹曲线进行拟合,通过构建一个最小二乘问题来求解多项式拟合的系数。具体而言,首先对于每个分段,构建一个 n × ( m + 1 )的矩阵 A 和一个n维向量 b,其中n为该分段中点的个数,m为选取的多项式阶数。矩阵 A 的每一行为该点x值的不同次方,向量 b 为该点的y值。然后,通过使用 QR 分解的方法,求解该分段的多项式系数,存储到系数向量 c 中。具体的 QR 分解公式为 A = Q R,其中 Q 是一个 n × ( m + 1 )的正交矩阵,满足 Q T Q = I R 是一个 ( m + 1 ) × ( m + 1 )的上三角矩阵。将矩阵 A 和向量 b 代入方程 A c = b中,可以得到 R c = Q T b,并通过回代求解得到 c。时间复杂度为 O ( k n ( m + 1 ) 2 ),其中k表示分段数目。在生成拟合轨迹点时,将轨迹点按照一定步长进行插值处理,并使用拟合后的函数计算插值点的纵坐标。其中生成的插值点法向量与其最近的初始轨迹点法向量近似相等。最后,用线性插值点连接每段轨迹间隔,再将每条轨迹进行首尾顺序连接,完成整体的喷漆轨迹规划。

2 实验结果与分析

本文采用三维激光相机对汽车翼子板、机盖、车门和保险杠进行多角度扫描,并运用点云配准算法19生成相应的三维点云模型。进一步,利用这些模型进行了轨迹规划实验。通过比较传统算法与本文提出的算法在轨迹规划中对汽车部件表面的拟合精度和轨迹光滑度,验证了本文算法的优越性。轨迹精度的评估使用确定系数R 2,其取值范围为0~1。R 2的值越接近1,说明轨迹与部件表面的拟合精度越好;反之,R2 的值越小,说明轨迹精度越差。R2 的计算公式如式(9)所示。
R 2 = 1 - R S S T S S = 1 - i = 1 n y i - f i 2 i = 1 n y i - y ^ 2
式中:yi 为实际值;fi 为预测值; y ^为实际值的平均值。在计算R2 的过程中,fi 等于喷漆高度h,每个yi 值代表轨迹点与点云模型中最近三角形的垂直距离。最近三角形是指模型中与轨迹点最近的3个点所构成的三角形。若某个轨迹点的投影在其最近三角形的外部时,应将该点舍弃,不考虑在计算中。
本文使用平均曲率对轨迹的光滑程度进行比较,计算公式如式(10)所示,平均曲率越小,则说明轨迹越光滑。
k i = d x d 2 y d x 2 - d y d 2 x d x 2 ( d x ) 2 + ( d y ) 2 3 / 2 k ¯ = 1 N i = 1 N k i
鉴于轨迹点的离散性,采用有限差分法对每个轨迹点进行梯度计算。对于第一个轨迹点,使用前向差分法近似计算其梯度;对于最后一个轨迹点,使用后向差分法近似计算其梯度;而对于中间部分的轨迹点,则采用中心差分法进行梯度计算。针对离散点集 x = [ x 1 , x 2 , . . . , x n ],则 d x的计算方式如式(11)所示
d x 1 = x [ 2 ] - x [ 1 ] , d x n = x [ n ] - x [ 1 ] , d x i = ( x [ i + 1 ] - x [ i - 1 ] ) / 2
本文对每个点云模型进行轨迹规划实验,传统算法与本文提出的改进算法的对比实验结果分别见表1表2所示,轨迹规划效果如图6所示。通过对每条轨迹的确定系数进行评估,可以看出本文算法的轨迹具有更高的精度,较传统算法拥有更高的拟合程度。同时,通过比较轨迹曲率,可以看出本文算法的曲率更小,说明生成的轨迹更为平滑,这些优势对于提高喷漆效果至关重要。其中精度和曲率的改善是由于引入的孤立森林异常点去除算法和曲线拟合方法。
表1 传统算法执行结果
工件模型 R 2 曲率 运行时间/ms
翼子板 0.416 100 0.054 381 2 760.75
车门 0.262 430 0.039 916 2 529.13
机盖 0.523 410 2.418 112 4 780.05
保险杠 0.648 415 0.326 005 3 759.77
表2 改进算法执行结果
工件模型 R 2 曲率 运行时间/ms
翼子板 0.455 45 0.000 931 1 404.73
车门 0.513 769 0.000 560 1 867.67
机盖 0.719 951 0.000 191 1 831.91
保险杠 0.752 172 0.000 757 961.105
图6 本文算法轨迹规划效果图
此外,通过对算法运行时间的比较可以发现,本文算法的运行效率更高。这是微分切片的作用,其避免了对最近点进行大量迭代,从而显著降低了算法的运行时间。这一改进使其更适合在实时或资源受限的应用场景中被使用。
为验证本文算法中各个模块的效果,分别用改进的模块替换传统算法中相对应的模块,并在表3中列出实验结果,以明确每个模块对算法整体的贡献。从表3中数据可以观察到,使用点云薄切算法可以显著提高轨迹规划速度,使算法能更快提取初始轨迹点,从而提高整体轨迹规划过程的效率。然而,在轨迹曲率方面略有上升,说明这种速度的提升在一定程度上牺牲了轨迹规划的质量。随后,在使用轨迹曲线拟合算法后,轨迹精度和光滑度均有提升。其中轨迹拟合效果如图7所示,通过对比拟合前后的轨迹可以看出,在进行拟合插值后,轨迹的平滑度得到显著改善。最后,在引入Iforest异常值检测算法后,能够有效地提前识别并剔除初始轨迹点中的异常值,从而提升初始数据质量,进一步提高轨迹规划效果,其中异常值去除效果如图8所示。
表3 不同模块执行结果
算法 平均R 2 平均曲率 平均运行时间/ms
传统算法 0.462 589 0.709 604 3 457.43
+点云薄切 0.467 889 12.411 982 57.55
+轨迹曲线拟合 0.570 181 0.000 681 127.31
+Iforest 0.610 335 0.000 610 1 516.35
图7 轨迹曲线拟合效果图
图8 Iforest异常值去除效果图
最后,本文使用RoboDK机器人仿真平台进行喷漆仿真实验。使用基于RoboDK的应用程序接口(application programming interface,API)编写的脚本,能够为各个机器人品牌生成相应的控制程序。将工件模型通过三角化算法20转化为立体光刻(STereoLithography,STL)格式导入到RoboDK中搭建实验环境。最后编写机器人控制脚本,读取轨迹点信息,控制机器人启动喷枪并实现位置移动。仿真效果如图9所示,工件表面均匀覆盖了一层深色涂层。

3 结论

为了克服传统喷漆轨迹规划算法中频繁搜索最近点对的缺陷,本文提出一种点云薄切算法来选择初始轨迹点。将初始轨迹点映射到二维坐标系中,便于后续对轨迹进行处理。同时,为解决传统插值算法所得轨迹精度不足和曲率较大的问题,引入Iforest算法去除轨迹点中的异常值,并通过曲线拟合技术进行轨迹规划。实验表明,本文算法具备更高的精度,且生成的轨迹曲线更加光滑。此外,由于无需对最近点对进行搜索,因此该算法显著提升了轨迹规划任务的效率。后续研究可以尝试引入更复杂的曲线拟合方法来进一步提升轨迹精度。然而,更复杂的算法可能会带来更高的计算成本。因此,针对不同应用场景,需要在算法精度和效率之间寻找更好的平衡点。
1
黄海丰,刘培森,李擎,等 .协作机器人智能控制与人机交互研究综述[J].工程科学学报202244(4):780-791.

2
解迎刚,兰江雨.协作机器人及其运动规划方法研究综述[J].计算机工程与应用202157(13):18-33.

3
Zhou Y Z Ma S M Li A P,et al.Path planning for spray painting robot of horns surfaces in ship ma-nufacturing[J].IOP Conference Series:Materials Science and Engineering2019521(1):1-7.

4
Chen W Wang X X Liu H,et al.Optimized combination of spray painting trajectory on 3D entities[J].Electronics20198(1):1-18.

5
Jan G E Fung K Luo C M,et al.On the complete area coverage problem of painting robots[C]//International Conference on Swarm Intelligence.Cham: Springer,2023:400-413.

6
Li C Q Xu F Zi B,et al.Trajectory planning of spray‑painting robot based on thickness uniformity of paint film[C]//International Conference on Mechanism and Machine Science.Singapore:Springer,2023:1647-1665.

7
Chen W Li X Ge H L,et al.Trajectory planning for spray painting robot based on point cloud sli-cing technique[J].Electronics20209(6):908.

8
Gleeson D Jakobsson S Salman R,et al.Robot spray painting trajectory optimization[C]//2020 IEEE 16th International Conference on Automation Science and Engineering (CASE).Hong Kong:IEEE,2020:1135-1140.

9
Tiboni G Camoriano R Tommasi T.PaintNet:3D learning of pose paths generators for robotic spray painting[EB/OL].(2022-11-13)[2024-02-07].

10
Tadic V Odry A Burkus E,et al.Painting path planning for a painting robot with a realsense depth sensor[J].Applied Sciences202111(4):1467.

11
Tasnim Z Ahmed F Tasnim Z,et al.PAINTIQUE:design and development of interaction mo-del of a line following spray‑painting robot[C]//International Conference on Human‑Computer Interaction.Cham:Springer,2023:437-448.

12
Gülırmak E A Bingül Z.Determining robot trajectory planning using image processing for wood painting[C]//2023 7th International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT).Ankara:IEEE,2023:1-6.

13
Yu X Y Cheng Z Y Zhang Y K,et al.Point cloud modeling and slicing algorithm for trajectory planning of spray painting robot[J].Robotica202139(12):2246-2267.

14
Lu W J Zhang C X Liu F,et al.Paint surface estimation and trajectory planning for automated pain-ting systems[J].Mathematical Foundations of Computing20247(2):195-208.

15
Liu F T Ting K M Zhou Z H.Isolation forest[C]//2008 Eighth IEEE International Conference on Data Mining.Pisa:IEEE,2008:413-422.

16
林森,李文涛,丁乃达,等.基于Kinect V2图像传感设备的智能喷漆系统[J].传感器与微系统202140(7):95-98.

17
Tong N Kong M X Xu S R.A spray path planning algorithm based on 3D point cloud[C]//2019 IEEE 3rd Advanced Information Management,Communicates,Electronic and Automation Control Conference (IMCEC).Chongqing:IEEE,2019:1112-1117.

18
Chabchoub Y Togbe M U Boly A,et al.An in‐depth study and improvement of isolation forest[J].IEEE Access202210(2):10219-10237.

19
武越,苑咏哲,向本华,等.三维点云配准中的计算智能方法综述[J].中国图象图形学报202328(9):2763-2787.

20
Gu J Q Yin G S.3D-polishing for triangular mesh compression of point cloud data[C]//Proceedings of the 29th ACM SIGKDD Conference on Know-ledge Discovery and Data Mining.Long Beach:ACM,2023:557-566.

文章导航

/