Information Science and Engineering

Transmission line target detection based on deep learning

  • Yanmei LIU , 1 ,
  • Xinshun CHEN 1 ,
  • Zhen CHEN 2 ,
  • Gaisheng SUN 2
Expand
  • 1. College of Automation,Shenyang Aerospace University,Shenyang 110136,China
  • 2. Emergency Repair Center,State Grid Liaoning Electric Power Co. ,Ltd. ,Shenyang 110021,China

Received date: 2024-02-29

  Online published: 2024-05-29

Abstract

Aiming at the current target detection methods based on deep learning for transmission line,the feature extraction ability is poor for small target,easy to misdetection leakage detection,detection accuracy is low, detection speed is slow.A transmission line target detection method was proposed based on an improved neural network model YOLOv7.Firstly,the MobileNetV2 network was used as the feature extraction part of YOLOv7 to achieve lightweight processing of the model.Secondly,the CA mechanism and ASPP module were introduced to improve the accuracy and perception of the model.Finally,the self-drawn transmission line obstacle data set was used for training improved YOLOv7 network and compared with the original YOLOv7 model.The results show that the algorithm proposed has significantly improved the accuracy and recall rate,which meets the fault detection in complex scenarios and is more conducive to model deployment of mobile devices and embedded systems.

Cite this article

Yanmei LIU , Xinshun CHEN , Zhen CHEN , Gaisheng SUN . Transmission line target detection based on deep learning[J]. Journal of Shenyang Aerospace University, 2024 , 41(2) : 68 -75 . DOI: 10.3969/j.issn.2095-1248.2024.02.008

输电线路是电力系统的重要组成部分1-2,其安全运行直接关系到电力系统的稳定性和可靠性,因此,对输电线路进行定期的巡检和维护是非常必要的。传统的输电线路巡检方式主要是人工巡检和航测巡检,其作业方式存在效率低、成本高、风险大、可控性差等问题3-4,难以满足电力系统的发展需求。近年来,利用机器人进行的输电线路巡检受到了广泛的关注和研究,巡检机器人通过计算机视觉技术实现检障定位,主要包括传统数字图像处理技术和深度学习图像处理技术。张峰等5将主元方向梯度直方图特征的快速分类检测方法用于在线障碍物检测与识别。朱衍欢6利用FT分割方法从图像中分割出输电线路故障,检测故障种类并定位其位置。陈荣保等7使用图像拼接与Hough变换相融合的方法进行输电线路故障检测。蔡晓斌等8研究了带电作业机器人在防振锤检修过程中对防振锤螺栓的识别,采用支持向量机方法并结合Hough变换对其进行识别。田云龙等9提出了边缘计算的输电线路异常缺陷特征检测方法。曾瑶韵10针对螺栓紧固末端作业装置与导线修补末端作业装置,采用Faster R-CNN对螺栓与导线进行缺陷检测。吴迪11运用YOLOv3网络对输电线路障碍物进行检测与识别。徐光达12使用YOLOv5算法对输电线路开展异物检测方法研究。王明13提出一种C-YOLOv5的输电线路异物检测算法。王彧14提出了基于YOLOv7的输电线路防振锤识别及缺陷检测方法。虽然当前学者们对于输电线路故障的检测方法已经做了很多研究,但仍然存在一些亟待解决的问题。例如,传统算法在精度方面往往难以达到理想的效果,而且在复杂环境下的鲁棒性也有待提高。此外,对于特定类型的缺陷或异物的检测,现有算法还不够灵活和准确,无法实现模型轻量化和高精度的有效平衡。采用深度学习方法对输电线路故障进行识别存在难点,有部分待检测目标的尺度在整个检测视野中占比较小且数量较多。由于输电线路的铺设范围极广,既可以是山川、河流、丛林,也可以是城市、荒野,其背景不具备特定的语义模式,模型很难重复学习其内在规律。由于拍摄角度等因素很容易导致所需检测目标受到一定遮挡,所以对模型的鲁棒性和泛化性具有较大考验。
为改进以上不足,本文以深度学习神经网络模型YOLOv7为基础进行改进,设计了一种模型轻量化与精度兼顾的输电线路目标检测模型,以便更好地满足实际应用中对输电线路目标检测的需求。YOLOv7目标检测算法是在YOLOv5的基础上进行优化的一种算法,它的独特之处在于其采用了模型的重参数化、标签的分配策略、ELAN的高效网络架构和带辅助头的训练方式,这些特点的结合使得YOLOv7具有更高的识别精度。本文的主要工作包括:使用MobileNetV2网络作为YOLOv7的特征提取部分,提取输电线路防振锤和断线故障特征,进而实现整个模型的轻量化处理,以便于算法在嵌入式系统上的硬件实现;为保证轻量级模型在目标检测上的高精度,引入CA机制自适应学习不同通道之间的权重,聚焦输电线路防振锤螺栓和断线端点小目标故障特征信息;为增强网络在输电线路复杂场景中识别目标的感知能力,采用ASPP来捕捉不同感受野的特征,从而全面地获取复杂场景的输电线路防振锤和断线故障特征。

1 输电线路目标特征提取

1.1 基于MobileNetV2网络的特征提取

MobileNetV2是一种轻量级的卷积神经网络模型15,旨在保持较小精度损失的同时,最大限度地减少网络的计算负载和内存消耗。该模型采用了倒残差结构和线性瓶颈层两项技术改进,在网络设计上具有明显优势。在输电线路检障任务中,轻量化模型的计算和存储资源开销较小,更适合设备和实时应用的需求。本文使用MobileNetV2作为YOLOv7的特征提取网络,以高效应对输电线路检障任务。表1为MobileNetV2的网络结构参数。
表1 MobileNetV2网络结构参数
输入 Operator t c n s
224×224×3 Conv2d - 32 1 2
112×112×32 Bottleneck 1 16 1 1
112×112×16 Bottleneck 6 24 2 2
56×56×24 Bottleneck 6 32 3 2
28×28×32 Bottleneck 6 64 4 2
14×14×64 Bottleneck 6 96 3 1
14×14×96 Bottleneck 6 160 3 2
7×7×160 Bottleneck 6 320 1 1
7×7×320 Conv2d 1×1 - 1 280 1 1
7×7×1 280 Avgpool 7×7 - - 1 -
1×1×1 280 Conv2d 1×1 - k - -

1.2 注意力机制

注意力机制是一种能同时考虑通道与位置信息的关注机制16,特别在处理具有广泛空间范围依赖性的任务时表现突出。图1为注意力结构图,将输入特征在水平和垂直两个方向分别进行1D全局池化,再对池化后的特定空间信息进行编码,最后将编码后的空间信息以加权的形式在通道方向上进行有效融合。
图1 注意力结构图
在MobileNetV2倒残差模块中引入注意力机制模块(见图2),增强网络对输电线路检障目标的特征提取能力。
图2 嵌入注意力的倒残差结构

2 基于ASPP的目标特征融合

ASPP模块由Chen等17提出,并在计算机视觉任务中得到广泛应用。其通过使用不同大小的空洞卷积和全局平均池化层来捕捉多尺度的目标特征,再融合这些特征来提高网络的识别精度。由于ASPP模块过大的膨胀率设计和全局平均池化层的处理容易导致识别小目标能力的欠缺,本文为进一步提高输电线路检障定位网络的检测性能,对原始的ASPP模块进行了改进(见图3),去掉空洞率为18的卷积,并重新设置4、8、12的空洞率卷积,同时引入注意力机制以强化对输电线路中小目标物体的聚焦,随后将设计好的ASPP模块加入到改进YOLOv7网络的特征融合部分。
图3 改进的ASPP网络结构

3 基于改进的YOLOv7网络的目标检测模型建立

本文改进的YOLOv7网络主要是针对特征提取和特征融合部分进行二次设计与优化,以便更高效、更精准地应用于输电线路检障定位任务。改进YOLOv7网络的具体结构为:首先利用MobileNetV2特征提取的第7、14、18层输出结果替换YOLOv7第24、37、50层输出结果;然后在MobileNetV2倒残差模块中的3×3卷积后加入注意力机制模块;最后针对MobileNetV2特征提取网络的第7、14层输出结果,在其进行特征融合时分别加入改进的ASPP模块。改进的YOLOv7整体网络结构如图4所示。
图4 改进的YOLOv7整体网络结构
为进一步探索改进YOLOv7网络在输电线路检障定位中的综合效果,本文基于实验精度和算法运算速度两个方面进行考虑,引入Precision、Recall、F1、mAP、FPS和参数量6个指标对目标检测原始模型和改进模型进行全面评估。其计算公式为
P r e c i s i o n = T P T P + F P
R e c a l l = T P T P + F N
F 1 =   2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l
m A P = k = 1 N A P k N
式中:TP表示模型正确地将样本预测为真实情况;FP表示模型错误地将负实例预测为正实例;FN表示模型错误地将正实例预测为负实例;AP为Precision-Recall曲线下方的面积;k为检查类别;N为检测类别总数。

4 实验与分析

4.1 实验数据

本文建立的输电线路故障数据集以防振锤和断线为主,如图5所示。将防振锤和断线类别分别标记为bolt、break,最终生成jpg格式的原始影像和txt格式的标签数据。同时,为提高数据的多样性和模型的鲁棒性,采用数据增强的方式对输电线路数据集进行了样本扩充。经处理后,样本总计3 324张,并按照8∶1∶1的比例进行划分。
图5 样本标注结果
实验在Ubuntu 18.04操作系统环境下进行,使用PyTorch 1.8.1深度学习框架,编程语言环境为Python 3.8。学习率设定为0.001,优化器选用Adam,批处理大小设置为16,默认图像输入像素尺寸为640×640,共进行300次迭代。

4.2 实验结果分析

借助搭建好的深度学习平台,基于本文建立的输电线路数据集训练改进的YOLOv7网络,网络训练趋于平稳时获得相关指标的曲线图,如图6所示。图6中横坐标表示置信度,纵坐标分别表示准确率、召回率和F1评估指标,其中准确率与置信度呈现正比例关系,其数值随着置信度的增大而增大,而召回率与置信度成反比例关系,其数值随着置信度的增大而减小。不难发现,在改进YOLOv7网络中输电线路检测的mAP指标数值为95.4%,并且当置信度为0.47时,其F1值为95%达到最高,同时该置信度下的准确率、召回率分别为99.46%和93.24%。因此,本文设计的改进YOLOv7网络在输电线路检测任务上表现出良好的性能及应用价值。
图6 改进YOLOv7评价指标曲线
为验证本文算法在输电线路检障定位工作中的优越性,使用同样数量的输电线路数据集并保证相同的实验环境,从定量指标和可视化效果两个方面对改进YOLOv7网络与YOLOv7网络进行对比分析,结果如表2所示。
表2 输电线路检障定量结果对比
评价指标 YOLOv7 改进YOLOv7算法
精确度/% 95.28 99.46
召回率/% 92.39 93.24
F1/% 93.81 96.25
mAP/% 94.63 95.42
FPS/% 106 112
参数量 3.72×107 2.54×107
表2可知,改进后的YOLOv7网络在所有定量指标上都得到了一定的提升。在准确率和F1上,改进YOLOv7的数值明显要高于原始算法,并分别获得了4.18%、2.44%的增益;在召回率和mAP上,改进后的算法略高于原始算法,均提高约1%的精度;最后,在FPS和参数量上,改进后的算法将网络的参数量减少了三分之一,同时又保证了网络的检测速度。由此可知,改进后的算法在识别输电线路故障目标时更加准确,能够显著降低误判的可能性,更好地捕捉到目标物体,提高目标检测的可靠性和整体效果。此外,由于模型的轻量化改进,减少了内存空间的占用,为模型的实际部署和应用提供了更大的便利性。
78分别为输电线路故障检出对比及故障漏检、误检对比结果。相较于原有的YOLOv7,改进后的YOLOv7在识别断线和防振锤时具有较高的置信度,同时对于位置的确定更为精准,表明该算法对于输电线路小目标障碍物的检测更为准确和可靠。在面对复杂环境时,例如存在大量杂乱背景或者光照不均的情况,改进后的模型能够更好地区分目标,表现出了更强的鲁棒性,减少漏检和误检的现象,进一步提高了其实用性。因此,不管从定量指标还是可视化效果的角度来看,改进后的YOLOv7在输电线路断线和防振锤障碍物检测方面表现更为优越,增强了其在实际场景中的适用性。在输电线路巡检中,将本文算法嵌入到智能机器人系统中,以实现自动化输电线路巡检任务。机器人通过携带的摄像头和传感器,实时获取输电线路的图像数据,并利用改进的YOLOv7算法进行目标检测和识别,快速准确地发现线路上的故障,不仅提高了巡检效率,还降低了人力成本和安全风险。这种智能机器人系统的应用将极大提升输电线路巡检的自动化水平,为输电行业的安全生产和运维管理提供了强有力的支持。
图7 输电线路故障检出对比图
图8 输电线路故障漏检、误检对比图

5 结论

本文针对输电线路故障目标检测,以YOLOv7算法为基础进行改进,实现模型在轻量化与精度上的提高。采用MobileNetV2网络进行轻量化处理,保持较低的计算资源消耗,使模型更适用于嵌入式系统的实现,提高了算法的实用性和适用性。引入注意力机制和ASPP模块提升了网络的准确度。注意力机制聚焦于输电线路检测任务中更关键的特征信息,而ASPP模块则通过捕捉不同尺度的目标特征并进行融合,提高网络对输电线路复杂场景的感知能力。实验结果表明,改进后的YOLOv7网络在输电线路检障定位检测任务中具有显著优势。在定量指标上,改进后的模型相比原始模型在精确度、F1、召回率和mAP等定量指标上均有所提升,精确度和F1分别增加了4.18%和2.44%,召回率和mAP也均提高了约1%的精度,同时网络参数量减少了三分之一。在可视化效果上,改进后的模型减少了漏检、误检现象,具有更强的鲁棒性。
1
周冬阳,王彦海,刘晓亮.基于机器学习的多目标输电线路智能化监测方法设计研究[J/OL].电力科学与技术学报:1-10.(2023-07-31)[2024-02-26].

2
刘德帅,李勇军,罗得表.基于无人机技术的输电线路检测和故障定位方法[J].无线电工程202353(10):2431-2438.

3
龙珊珊,信瑞山.基于人工智能图像识别的输电线路巡检研究[J].电子测量技术202346(6):116-121.

4
杨利波,杨嘉妮,贺学敏.基于YOLO目标检测算法的输电线路检测[J].电力信息与通信技术202220(8):99-105.

5
张峰,郭锐,程志勇,等.基于主元梯度直方图的输电线路障碍物检测[J].计算机工程与应用201652(15):254-259,265.

6
朱衍欢.巡线机器人视觉检测方法研究[D].哈尔滨:哈尔滨工业大学,2017.

7
陈荣保,唐大为,盛雨婷,等.数字图像在输电线路检测中的应用[J].传感器与微系统201938(9):150-152.

8
蔡晓斌,刘荣海,杨发,等.基于机器人视觉识别的防振锤智能运维研究[J].云南电力技术202048(4):2-6.

9
田云龙,郭媛.基于边缘计算的输电线路异常缺陷特征检测方法[J].企业科技与发展202323(11):67-70.

10
曾瑶韵.输电线路带电作业机器人视觉检测算法的研究[D].长沙:长沙理工大学,2018.

11
吴迪.智能巡检机器人视觉检测与定位方法研究[D].沈阳:东北大学,2020.

12
徐光达.基于YOLOv5的输电线路异物检测算法研究[D].福州:福建工程学院,2023.

13
王明.基于深度学习的输电线路异物检测算法研究[D].南京:南京信息工程大学,2023.

14
王彧.基于YOLOv7的输电线路防振锤识别及缺陷检测[D].哈尔滨:东北农业大学,2023.

15
Sandler M Howard A Zhu M L,et al.MobileNetV2:inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:4510-4520.

16
Hou Q B Zhou D Q Feng J S.Coordinate attention for efficient mobile network design[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Nashville:IEEE,2021:13708-13717.

17
Chen L C Papandreou G Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence201840(4):834-848.

Outlines

/