王刘旺
WANG Liuwang

• 1:国网浙江省电力有限公司电力科学研究院

摘要(Abstract)：

视频监控对保障电网安全稳定运行起着不可忽视的作用。随着人工智能技术的发展，机器视觉在电力安全监控中表现出巨大的应用潜力。首先概述了机器视觉领域主要关注的目标检测、目标分割、目标跟踪三大任务；然后从设备状态、人员状态、环境状态三个角度出发，总结分析了机器视觉技术在输变电设备状态检测、人员状态判别、重要区域环境状态监测三大典型应用场景的应用及研究进展；最后就机器视觉技术在电力安全监控领域落地应用存在的问题进行分析并提出了相关建议。
Video surveillance plays a vital role in ensuring the safe and stable operation of power grid. With the development of artificial intelligence,machine vision has shown great application potential in power safety monitoring.Firstly,the three main tasks of object detection,object segmentation and target tracking in machine vision are summarized. Then,from the three perspectives of equipment status,personnel status and environmental status,the application research progress of machine vision technology in three typical application scenarios of power transmission and transformation equipment status detection,personnel status discrimination,and environmental status monitoring in critical areas is summarized and analyzed. Finally,the existing problems of the application of machine vision technology in the field of power safety monitoring are analyzed,and suggestions are brought forward.

关键词(KeyWords)： 机器视觉;目标检测;目标分割;目标跟踪;安全监控
machine vision;object detection;object segmentation;target tracking;security monitoring

Abstract:

Keywords:

基金项目(Foundation): 国网浙江省电力有限公司科技项目（5211DS19002K）

作者(Author): 王刘旺
WANG Liuwang

DOI: 10.19585/j.zjdl.202210003

参考文献(References)：

• [1]赵振兵，张薇，翟永杰，等.电力视觉技术的概念、研究现状与展望[J].电力科学与工程，2020,36(1):1-8.
• [2] REDMON J,DIVVALA S,GIRSHICK R B,et al.You only look once:unified,real-time object detection[C].2016IEEE Conference on Computer Vision and Pattern Recognition(CVPR),[S.l.]:IEEE,2016.
• [3] LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shot multibox detector[C].European Conference on Computer Vision,Cham:Springer,2016.
• [4] GIRSHICK R.Fast R-CNN[J].Computer Science,2015.
• [5] REN S,HE K,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2017,39(6):1137-1149.
• [6] OTSU N. A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems Man&Cybernetics,2007,9(1):62-66.
• [7]黄宇，付琨，吴一戎.基于Markov随机场K-Means图像分割算法[J].电子学报，2009,37(12):2700-2704.
• [8] SONG C Z,YUILLE A. Region competition:unifying snakes,region growing,and Bayes/MDL for multiband image segmentation[J]. IEEE Transactions on Pattern Analysis&Machine Intelligence,1996,18(9):416.
• [9] BEUCHER S,MEYER F.Segmentation:the watershed transformation. mathematical morphology in image processing[J].Optical Engineering,1993,34(5):433-481.
• [10] HE K M,Gkioxari Georgia,Dollár Piotr,et al.Mask RCNN[C]//Proceedings of the IEEE International Conference on Computer Vision,[s.l.:S.n.],2017:1703-6870.
• [11] CHEN L C,PAPANDREOU G,KOKKINOS I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4):834-848.
• [12] COMANICIU D,MEER P,IEEE,et al.Mean shift:a robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
• [13] REID D. An algorithm for tracking multiple targets[J].IEEE Transaction on Automatics Control,1979,24(6):1202-1211.
• [14] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):583-596.
• [15]徐海青，余江斌，梁翀，等.基于GAN的改进RPN输电线路细小金具缺陷检测方法[J].电子器件，2021,44(6):1409-1416.
• [16]王榆夫，韩军，赵庆喜，等.基于无人机图像的电力杆塔倾斜检测[J].计算机仿真，2017,34(7):426-431.
• [17]王祖武，韩军，孙晓斌，等.基于视觉导航的输电线杆塔方位确定方法[J].激光与光电子学进展，2019,56(8):134-142.
• [18]陈炳煌，缪希仁，江灏，等.融合粒子群与极限学习机的输电杆塔灾害分类方法[J].郑州大学学报（工学版），2021,42(4):77-83.
• [19]韦汶妍，刘晓立，杨传凯，等.一种基于深度学习网络的输电杆塔智能检测算法[J].广东电力，2020,33(9):166-173.
• [20]曹志勇，丰佳，毛文利，等.基于特征融合Faster R-CNN的电力塔基目标检测[J].浙江电力，2021,40(11):72-77.
• [21]应斌，唐斌，潘俊杰，等.基于YOLOv3的电力杆塔检测算法研究[J].浙江电力，2021,40(5):53-59.
• [22]王宏超，邵云峰，马中静，等.基于深度学习增强的LSD杆塔倾斜度检测[J].电子测量与仪器学报，2021,35(9):204-213.
• [23]姚晓通，刘力，李致远.基于Canny边缘特征点的接触网绝缘子识别方法[J].电瓷避雷器，2020(1):142-148.
• [24] TAN P,LI X F,XU J M,et al.基于轮廓特征及灰度相似度匹配的接触网绝缘子缺陷检测[J].Journal of Zhejiang University-Science A(Applied Physics&Engineering),2020,21(1):64-73.
• [25]张红民，彭闯，郭泓邑，等.一种基于SIFT-BOW模型的绝缘子图像识别方法[J].激光杂志，2020,41(11):96-99.
• [26]闫丽梅，刘永强，徐建军，等.基于Grabcut分割和填充物面积判别的复合绝缘子断串诊断[J].电力系统保护与控制，2021,49(22):114-119.
• [27]刘国伟，何锦雄，杨永.基于图像识别与智能算法的绝缘子故障检测方法研究[J].电瓷避雷器，2021(4):191-195,202.
• [28]刘行谋，田浩，杨永明，等.复杂环境背景下绝缘子缺陷图像检测方法研究[J].电子测量与仪器学报，2022,36(2):57-67.
• [29]律方成，牛雷雷，王胜辉，等.基于优化YOLOv4的主要电气设备智能检测及调参策略[J].电工技术学报，2021,36(22):4837-4848.
• [30]刘悦，黄新波.基于YOLOv4和改进分水岭算法的绝缘子爆裂检测定位研究[J].电网与清洁能源，2021,37(7):51-57.
• [31]马耀名，张雨.基于改进Faster-RCNN的绝缘子检测算法[J].计算机应用，2022,42(2):631-637.
• [32]易继禹，陈慈发，龚国强.基于改进Faster RCNN的输电线路航拍绝缘子检测[J].计算机工程，2021,47(6):292-298.
• [33]李新海，曾令诚，卢泳茵，等.一种小样本条件下的绝缘子外套裂纹缺陷图像识别方法[J].南方电网技术，2021,15(12):86-94.
• [34]王亚茹，杨凯，翟永杰，等.基于人工图像数据扩充的输电线路绝缘子识别[J/OL].系统仿真学报：1-11[2022-04-16]. http：//kns. cnki. net/kcms/detail/11.3092.V.20211203.0217.002.html.
• [35]崔克彬，潘锋.用于绝缘子故障检测的CycleGAN小样本库扩增方法研究[J].计算机工程与科学，2022,44(3):509-515.
• [36]闫志杰，张凌浩，贾振堂，等.基于Tw_Cycle Gan的绝缘子缺陷样本自动生成技术[J].电子测量技术，2021,44(17):138-145.
• [37]翟永杰，杨珂，王乾铭，等.基于混合样本迁移学习的盘型绝缘子缺陷检测[J/OL].中国电机工程学报：1-11[2022-04-16]. http：//kns. cnki. net/kcms/detail/11.2107.TM.20220407.1051.004.html.
• [38]赵振兵，李延旭，戚银城，等.基于动态焦点损失函数和样本平衡方法的绝缘子缺陷检测方法[J].电力自动化设备，2020,40(10):205-211.
• [39]赵振兵，熊静，李冰，等.基于改进Cascade R-CNN的典型金具及其部分缺陷检测方法[J].高电压技术，2022,48(3):1060-1067.
• [40]翟永杰，杨旭，赵振兵，等.融合共现推理的Faster RCNN输电线路金具检测[J].智能系统学报，2021,16(2):237-246.
• [41]赵振兵，李延旭，甄珍，等.结合KL散度和形状约束的Faster R-CNN典型金具检测方法[J].高电压技术，2020,46(9):3018-3026.
• [42]张永翔，吴功平，刘中云，等.基于YOLOv3网络的输电线路防震锤和线夹检测迁移学习[J].计算机应用，2020,40（增刊2）:188-194.
• [43]赵振兵，江爱雪，戚银城，等.嵌入遮挡关系模块的SSD模型的输电线路图像金具检测[J].智能系统学报，2020,15(4):656-662.
• [44]戚银城，江爱雪，赵振兵，等.基于改进SSD模型的输电线路巡检图像金具检测方法[J].电测与仪表，2019,56(22):7-12.
• [45]王昊，吴功平，刘中云，等.基于自适应Canny边缘检测的输电导线检测算法[J].扬州大学学报（自然科学版），2020,23(6):45-52.
• [46]黄新波，章小玲，张烨，等.基于径向基概率神经网络的输电导线缺陷状态识别[J].电力系统自动化，2020,44(3):201-210.
• [47]杨传凯，孔志战，谢倩楠，等.基于DeepLab v3+深度卷积网络的输电导线图像识别方法[J].电力工程技术，2021,40(4):189-194.
• [48]李泊，陈诚.面向航拍图像的农村配电网导线断股检测[J].中国电力，2019,52(1):82-87.
• [49]李飞伟，郁云忠，袁林峰，等.基于无人机的配电导线断股缺陷检测系统设计与实现[J].测绘地理信息，2021,46(4):132-135.
• [50]刘云鹏，裴少通，武建华，等.基于深度学习的输变电设备异常发热点红外图片目标检测方法[J].南方电网技术，2019,13(2):27-33.
• [51]李文璞，谢可，廖逍，等.基于Faster RCNN变电设备红外图像缺陷识别方法[J].南方电网技术，2019,13(12):79-84.
• [52]李文璞，毛颖科，廖逍，等.基于旋转目标检测的变电设备红外图像电压致热型缺陷智能诊断方法[J].高电压技术，2021,47(9):3246-3253.
• [53]朱惠玲，牛哲文，黄克灿，等.基于单阶段目标检测算法的变电设备红外图像目标识别及定位[J].电力自动化设备，2021,41(8):217-224.
• [54]谭宇璇，樊绍胜.基于图像增强与深度学习的变电设备红外热像识别方法[J].中国电机工程学报，2021,41(23):7990-7998.
• [55]许志浩，罗吕，袁刚，等.基于热点位置分类的电流互感器发热故障判别方法[J].激光与红外，2021,51(12):1628-1634.
• [56]李冰，王天，杨珂，等.基于改进Mask R-CNN的变电设备红外图像实例分割算法[J/OL].华北电力大学学报（自然科学版）：1-10[2022-04-19].http：//kns.cnki.net/kcms/detail/13.1212.TM.20211223.1719.002.html.
• [57]袁刚，许志浩，康兵，等.基于DeepLabv3+网络的电流互感器红外图像分割方法[J].红外技术，2021,43(11):1127-1134.
• [58]位一鸣，童力，罗麟，等.基于卷积神经网络的主变压器外观缺陷检测方法[J].浙江电力，2019,38(4):61-68.
• [59]武建华，梁利辉，张喆，等.基于深度学习的变电站设备油液渗漏检测识别[J].广东电力，2020,33(11):9-15.
• [60]鲍伟超，顾理，何劲松，等.基于循环训练法的变压器漏油检测[J].计算机辅助设计与图形学学报，2021,33(3):431-438.
• [61]宋亚凯，樊晓虹，何国锋，等.基于轮廓匹配度的隔离开关三相分合闸状态同步识别算法研究[J].高压电器，2022,58(4):151-157.
• [62]腾云，雷丞，李洪涛，等.基于HOG和SVM的高压隔离开关分合闸状态自动识别技术研究[J].高压电器，2020,56(9):246-252.
• [63]刘子英，张靖，邓芳明.基于BP神经网络的高压隔离开关分合闸监测识别[J].电力系统保护与控制，2020,48(5):134-140.
• [64]尤振飞，赵健，王小宇，等.基于语义分割与连通区域标记的隔离开关状态识别方法[J].电力系统自动化，2021,45(20):157-165.
• [65]王志威，郑恭明.改进残差网络的字轮式数字表盘识别算法[J].科学技术与工程，2022,22(6):2357-2362.
• [66]李俊，袁亮，冉腾.基于YOLOv4的指针式仪表自动检测和读数方法研究[J].机电工程，2021,38(7):912-917.
• [67]万吉林，王慧芳，管敏渊，等.基于Faster R-CNN和UNet的变电站指针式仪表读数自动识别方法[J].电网技术，2020,44(8):3097-3105.
• [68]孙晓朋，侯立群，渠怀胜.基于卷积神经网络的渐进式指针表自动读数方法[J].传感技术学报，2021,34(10):1326-1333.
• [69]张森，万吉林，王慧芳，等.基于注意力机制的卷积神经网络指针式仪表图像读数识别方法[J].电力自动化设备，2022,42(4):218-224.
• [70]袁朝晖，付文龙，李佰霖，等.基于多策略分割融合与形态特征辨识的变电站保护压板状态识别[J].电力系统保护与控制，2022,50(1):98-106.
• [71]付文龙，谭佳文，吴喜春，等.基于图像处理与形态特征分析的智能变电站保护压板状态识别[J].电力自动化设备，2019,39(7):203-207.
• [72]李镇翰，舒征宇，高健，等.基于改进稀疏表示的变电站保护压板状态辨识[J].电子测量技术，2021,44(23):86-92.
• [73]梁辰，孙建文，王兰玉，等.应用聚类和证据理论实现变电站保护压板状态校核[J].电网技术，2020,44(6):2343-2349.
• [74]杨宗源，侯进，周浩然，等.应用YOLOv4-tiny算法实现保护压板智能校核[J].科学技术与工程，2022,22(2):570-576.
• [75]汪洋，黎恒烜，鄂士平，等.基于深度学习的变电站硬压板状态检测与识别算法[J].沈阳工业大学学报，2020,42(6):676-680.
• [76]周克，杨倩文，王耀艺，等.一种改进的压板状态识别SSD算法[J].电测与仪表，2021,58(1):69-76.
• [77]王伟，张彦龙，翟登辉，等.基于OpenCV+SSD深度学习模型的变电站压板状态智能识别[J].电测与仪表，2022,59(1):106-112.
• [78]杨倩文，周克.基于改进双线性细粒度模型的压板状态识别[J].激光与光电子学进展，2021,58(20):146-155.
• [79]杨永波，李栋.改进YOLOv5的轻量级安全帽佩戴检测算法[J].计算机工程与应用，2022,58(9):201-207.
• [80]葛青青，张智杰，袁珑，等.融合环境特征与改进YOLOv4的安全帽佩戴检测[J].中国图象图形学报，2021,26(12):2904-2917.
• [81]徐守坤，王雅如，顾玉宛，等.基于改进Faster RCNN的安全帽佩戴检测研究[J].计算机应用研究，2020,37(3):901-905.
• [82]何国立，齐冬莲，闫云凤.一种基于关键点检测和注意力机制的违规着装识别算法及其应用[J].中国电机工程学报，2022,42(5):1826-1837.
• [83]吴宏毅，雷景生，陈林锋，等.改进目标检测算法在变电站内安全管控的应用[J/OL].计算机工程与应用：1-9[2022-04-22]. http：//kns. cnki. net/kcms/detail/11.2127.TP.20210928.0907.010.html.
• [84]郭敬东，李晓林.面向电力智能安监的极低分辨率目标检测算法[J].计算机工程与设计，2020,41(11):3188-3192.
• [85]丘浩，张炜，彭博雅，等.基于YOLOv3的特定电力作业场景下的违规操作识别算法[J].电力科学与技术学报，2021,36(3):195-202.
• [86]杨斌，云霄，董锴文，等.基于机器视觉的石化场景人员危险行为识别[J].激光与光电子学进展，2021,58(22):355-365.
• [87]王刘旺，郑礼洋，叶晓桐，等.基于人脸与步态特征的室外作业场景身份核验方法[J].河北科技大学学报，2021,42(6):635-642.
• [88]安妙，孔英会，沈辉，等.基于深度学习的行为识别及在电力系统的应用[J].电力科学与工程，2019,35(3):59-65.
• [89]马富齐，王波，董旭柱，等.电力工业安全影像解译：基本概念与技术框架[J].中国电机工程学报，2022,42(2):458-475.
• [90]杨潇钰，余勤，叶强，等.基于遥感技术的输电走廊植被山火预警平台研究[J].自然灾害学报，2021,30(6):67-76.
• [91]翟永杰，龙雅芸，江柳，等.基于异常检测的输电线路山火检测方法研究[J].华北电力大学学报（自然科学版），2021,48(6):90-96.
• [92]赵钰，姜凌霄.基于边缘计算的超特高压输变电走廊山火预警方法[J].消防科学与技术，2021,40(3):422-425.
• [93]姚景岩，杨世勇，舒征宇，等.基于航拍的输电线路覆冰厚度监测研究[J].高压电器，2021,57(8):105-114.
• [94]卞荣，陈科技，张柏岩，等.基于改进Canny算法的输电导线覆冰冰形视觉识别[J].高压电器，2021,57(11):131-138.
• [95]肖文，高宏力，鲁彩江.单目视觉测量电力线覆冰厚度方法研究[J].机械设计与制造，2021(8):1-4.
• [96]林刚，王波，彭辉，等.基于强泛化卷积神经网络的输电线路图像覆冰厚度辨识[J].中国电机工程学报，2018,38(11):3393-3401.
• [97]马富齐，王波，董旭柱，等.面向输电线路覆冰厚度辨识的多感受野视觉边缘智能识别方法研究[J].电网技术，2021,45(6):2161-2169.
• [98]刘凤莲，曹永兴，高润明，等.基于高分辨率卫星影像的输电走廊植被生长预警[J].电力科学与技术学报，2021,36(3):188-194.
• [99]刘兰兰，李勃铖，毛盾，等.基于卫星遥感影像的线树距离测量与树障预警技术[J].南方电网技术，2021,15(8):130-138.
• [100]赵一展，周吕，潘元进，等.一般消费级无人机的树障监测精度验证[J].测绘通报，2021（增刊1）:159-164.
• [101]吴驰，刘凤莲，曹永兴，等.基于光谱和雷达的输电线路树障遥测技术研究[J/OL].电测与仪表：1-8[2022-04-26].http：//kns.cnki.net/kcms/detail/23.1202.TH.20210119.1648.004.html
• [102]贾伯岩，孙翠英，李立学，等.基于兴趣区域匹配的输电线路双目监测系统研究[J].高电压技术，2020,46(10):3630-3637.
• [103]魏贤哲，卢武，赵文彬，等.基于改进Mask R-CNN的输电线路防外破目标检测方法研究[J].电力系统保护与控制，2021,49(23):155-162.
• [104]龚钢军，张帅，吴秋新，等.基于TensorFlow的高压输电线路异物识别[J].电力自动化设备，2019,39(4):204-209.
• [105]陈玉权，王红星，沈杰，等.基于ML-S2OCELM的输电线异物检测方法研究[J].南京邮电大学学报（自然科学版），2020,40(3):89-96.
• [106]余沿臻，邱志斌，周银彪，等.基于卷积神经网络与ECOC-SVM的输电线路异物检测[J].智慧电力，2022,50(3):87-92.
• [107]宋立业，王诗翱，刘昕明.基于改进胶囊网络的电力线巡线异物检测[J].电子测量与仪器学报，2020,34(12):49-56.
• [108]孙慧，李喆，江一，等.基于场景建模的电力巡检异物检测样本扩充方法[J].电网技术，2021,45(3):1175-1180.
• [109]史晋涛，李喆，顾超越，等.基于样本扩充的Faster RCNN电网异物监测技术[J].电网技术，2020,44(1):44-51.
• [110]路艳巧，孙翠英，曹红卫，等.基于边缘计算与深度学习的输电设备异物检测方法[J].中国电力，2020,53(6):27-33.
• [111]张凡，范亚雷，刘文达，等.一种高压线异物检测算法[J].现代电子技术，2020,43(8):36-40.
• [112]唐翔翔，沈薇，朱明，等.基于改进YOLOv4的输电线路异物检测算法[J].安徽大学学报（自然科学版），2021,45(5):58-63.
• [113]杨剑锋，秦钟，庞小龙，等.基于深度学习网络的输电线路异物入侵监测和识别方法[J].电力系统保护与控制，2021,49(4):37-44.
• [114]刘黎，韩睿，韩译锋，等.改进的Faster-RCNN目标检测方法在变电站悬挂异物检测中的应用[J].电测与仪表，2021,58(1):142-146.
• [115]肖曾翔，徐启峰.基于改进卷积神经网络的变电站异物入侵识别[J].科学技术与工程，2022,22(4):1465-1471.
• [116]宋伟，王玉平，张文杰，等.基于颜色与运动特征的变电站实时烟雾检测[J].传感器与微系统，2015,34(12):127-130.
• [117]张永，刘明一，许庶威，等.基于MobileNetv3-LargeYOLOv3的变电站火灾检测[J].广东电力，2021,34(11):123-132.