文章信息
基金项目
- 广东省重点领域研发计划项目(2020B0202090005);廉江智库企业项目(廉江红橙黄龙病与木虱智慧监控及生态防控技术应用示范)
作者简介
- 王海漫(1997—),男,在读硕士生,研究方向为计算机视觉,E-mail:himan97@163.com; 俞婷,中山大学理学博士,广东省农业科学院农业生物基因研究中心助理研究员,从事基因检测智慧监控技术体系构建、生物大数据分析与关键基因挖掘等工作,主持省市级项目科研6项,参加国家自然科学基金、省重点研发专项、省应急专项等项目10余项。在《Nature communications》 《Genome Research》《Frontiers in Microbiology》等期刊发表SCI收录论文20余篇,软件著作权登记5项,获授权专利6项,主持的横向课题与成果转化超100万元.
通讯作者
- 俞婷(1987—),女,博士,助理研究员,研究方向为生物大数据,E-mail:287208621@qq.com.
文章历史
- 收稿日期:2022-09-07
2. 仲恺农业工程学院信息科学与技术学院,广东 广州 510225;
3. 广州航海学院信息与通信工程学院,广东 广州 510725;
4. 广东省农业科学院,广东 广州 510640;
5. 廉江市经济社会发展研究会,广东 廉江 524400
2. College of Information Science and Technology, Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China;
3. College of Information and Communication Engineering, Guangzhou Maritime University, Guangzhou 510725, China;
4. Guangdong Academy of Agricultural Sciences, Guangzhou 510640, China;
5. Lianjiang Association of Economic and Social Development Research, Lianjiang 524400, China
【研究意义】柑橘是我国南方最重要的果树之一,其果实香嫩多汁、酸甜可口,深受广大消费者喜爱,已成为两广及江浙等地区农业经济发展的主力军[1]。黄龙病是世界柑橘生产中最严重的侵染性病害,被称为柑橘的“癌症”,植株一旦染病,果实产量及品质下降,叶片黄化、植株生长衰退甚至死亡,经济寿命缩短,直接影响柑桔产业的可持续发展[2]。黄龙病目前可防可控不可治,而其传播的最主要媒介是柑橘木虱,因此,监测木虱并对其消杀是抑制黄龙病传播的一大有效手段。
【前人研究进展】目标检测是机器视觉领域的核心问题之一,其任务就是找出被测图像中的所有物体,以及确认它们的位置和大小。检测模型按照运算过程中是否需要产生候选区域,可以分为Two-stage和One-stage[3]。Two-stage算法将运算过程分为两个阶段,先提取候选框,判断框选区域是前景还是背景,第二个阶段进行分类,判断看前景具体类别,Two-stage算法典型代表有R-CNN[4]、Faster-RCNN[5]等,识别准确率较高,但速度欠佳,不适合实时检测场景。One-stage算法主要代表有R-SSD[6]、YOLO[7]系列等,不需要候选阶段,直接计算出目标的类别概率和位置信息,虽然识别精度比Two-stage算法稍差[8],但检测速度快、资源消耗更少使其成为嵌入式边缘设备理想的模型[9]。
在昆虫的智慧监测方面,俞龙等[10]使用了一种改进的YOLOX算法对一芽一叶、一芽二叶等茶叶嫩芽进行识别、分类;朱立学等[11]使用加入了注意力机制的YOLOv5s算法对草坪环境的红火蚁进行了精准检测;胡嘉沛等[12]通过改进YOLOv4-Tiny模型的颈部网络,利用浅层卷积层包含的位置信息和细节信息,提高了模型对柑橘木虱小目标的识别能力,并使用交叉小批量归一化方法替代卷积层的批归一化方法,提高了统计信息的准确度,有效地提升了网络的检测精度;周逸博等[13]基于YOLOv5s设计了Android端苹果树皮病害识别APP,有效辅助果园精准管理;Partel等[14]使用移动机器在田间拍打树枝将木虱收集到拍摄台,使用YOLOv1和YOLOv3算法对木虱进行监测,但我国农林作业环境复杂,并多以小农经济为主,没有规范化管理,故无法使用上述行走机器作业,我国农业环境更适合体积较小的嵌入式检测设备[15-16]。引诱剂以及特效杀虫剂对于木虱的消杀至关重要,胡妍月等[17]研究不同地区柑橘木虱种群对常用杀虫剂的抗性水平,为生产实践合理化用药提供依据;刘科宏等[18]首次在亚洲柑橘木虱中检测到CYVCV(柑橘黄脉病毒),研究结果丰富了基因组数据库,可为CYVCV的防治和研究提供依据。
【本研究切入点】考虑到后期需要部署在嵌入式开发板,选择速度更快的One-stage类型算法。YOLO系列作为此类典型代表,经过几年的发展,已经广泛应用于工业领域。本研究选择2021年由旷视研究院提出的YOLOX[19]模型作为基准算法,在其骨干网络输出层加入卷积注意力模块CBAM (Convolutional block attention module) [20],增强其特征提取能力;针对柑橘木虱体积非常小,属于小目标检测范畴,引入Focal Loss[21]损失函数提高模型对小目标的检测能力。
【拟解决的关键问题】木虱体积较小,需要更加精确的目标检测算法才可以达到理想的识别效果,基于YOLOX的改进模型增强了特征提取和小目标检测能力,契合柑橘木虱检测场景。
1 材料与方法 1.1 试验数据采集试验所用木虱数据采集于广东省农业科学院农业生物基因研究中心与廉江智库合作的果园试验基地廉江市橙梦园,采集时间为2022年5月24—26日,其中,24日为阴天,其余两日为晴天,每日选取7: 00~8: 00、12: 00~13: 00、17: 00~18: 00 3个时间段进行采样,拍摄设备为小米11手机,为确保数据集的稳定性和一致性,整个采集过程采用自动对焦模式,禁用闪光灯和HDR功能,拍摄距离9~11 cm,图像像素为3384×6016,共600张(图 1)。
1.2 数据集预处理
为了防止600张木虱数据集发生过拟合现象,如直接输入模型进行训练会导致特征学习不明显导致推理失败,因此在训练阶段前对数据集进行扩充和增强。首先对600张图像进行旋转和翻转,增强其泛化能力,并对扩充后的数据集采用改进的Mosaic数据增强方法,原版Mosaic是随机选取4张图像进行随机裁剪,并将裁剪过后的图像按顺序拼接为一张新图像,再将其与原始数据集一起作为模型的训练输入。经过数据扩充与增强后,最终数据集数量为2 100张,按照8 ∶ 1 ∶ 1的比例划分为训练集、测试集和验证集,其中1 680张训练数据通过LabelImg软件手动标注出木虱所在图像中的位置,得到标签数据集。
1.3 柑橘木虱检测模型设计近几年来,YOLOv1-YOLOv5成为工业领域应用最广泛的目标检测算法,基于此改进的检测模型解决了大量的工作,但随着网络模型朝着向量化的方向改进,尤其是YOLOv5其检测准确率受硬件影响较大,未考虑后期部署工作,其通常在V100等高成本的机器上进行比较。YOLOX在前人广泛的研究基础上,汲取了大量优秀工作,将YOLO系列进一步增强,基于YOLOX模型开展木虱检测工作,提高其检测准确率。
1.3.1 YOLOX模型概述 目标检测模型根据各部分功能的不同,可以被抽象为Backbone、Neck和Head 3个部分,如图 2所示。主干网络Backbone部分对输入的数据进行特征提取,包括一些定位信息、细节信息等供后续网络使用;颈部网络Neck部分用来提取一些更复杂的特征从而更好的融合和提取特征信息;检测头Head部分利用之前提取到的特征进行计算预测输出结果。YOLO系列各版本结构设计如表 1所示。
1.3.2 主干网络改进 YOLOX主干网络使用的是CSPDarkNet模型,主要使用CSP结构与卷积层相连接。输入的图像首先经过Focus结构(图 3)进行采样,采用切片操作将分辨率较高的图片切分为多个低分辨率的图片,及隔行隔列的切割再拼接,Focus操作将平面上的信息转换到通道维度,从而降低模型结算量。然后经过CSPDarkNet获取到3个有效特征层,虽然CSP结构可以减轻随着网络的加深而出现的梯度消失问题,但是也会一同将噪声与提取到的特征传输到深层网络,降低学习效率。因此本研究在3个有效特征层后分别加入卷积注意力模块(Convolutional Block Attention Module,CBAM),可以序列化地在通道和空间两个维度上产生注意力特征图信息,然后两个维度再与原输入特征图进行相乘以完成适应特征修正获得最后的特征图,是一种结合了通道和空间的轻量级注意力模块,可以将注意力聚焦在图像中更加重要的区域,让模型更加关注重要特征。改进后的YOLOX模型如图 4所示。
1.3.3 损失函数 YOLOX的损失函数由3部分构成,如下式所示:
式中,L为模型总损失,LReg为预测位置和真实位置之间误差的损失,LCls为判断类别概率的损失,LObj为对象的置信度损失。基于柑橘木虱小目标的特性,使用Focal Loss损失函数替换目标损失中的交叉熵损失,Focal Loss损失函数如下:
式中,γ>0,使得减少易分类样本的损失,使其可以更加关注困难的、错分的样本,经Focal Loss计算,小目标就可以获得更高的损失值,从而提升模型整体的小目标检测能力。
1.4 试验环境本模型训练环境为Ubuntu18.04操作系统,显卡选用双路NVIDIA RTX3060Ti提供算力,选用Python3.8编程语言以及Pytorch 1.10.0深度学习框架,OpenCV库版本为4.6.0.66,并采用CUDA11.3+CUDNNv8.2.1进行加速。
1.5 评价指标评价指标采用精准率(Precision,P)表示正确识别木虱的占比,召回率(Recall,R)表示木虱的覆盖程度,精度均值(Average Precision,AP)表示木虱识别的精度,平均精度均值(Mean Average Precision,mAP)表示木虱的平均识别精度,计算公式如下:
模型初始参数为学习率0.001,Batch大小16,迭代次数epoch100。图 5为木虱的识别效果图,可以看出,模型对于木虱小目标的检测效果很好,并且对于重叠在一起的多个木虱也可以有较高的识别率;图 6为改进后的YOLOX P-R曲线图,横坐标为召回率(Recall,R),纵坐标为精准率(Precision,P),坐标轴与P-R曲线围成的面积即为木虱识别精度(Average Precision,AP)值,可以得到木虱识别精度的AP值为85.66%。
YOLOX主干部分具有多个残差网络,其中CSP结构将原来的残差块的堆叠拆分为两个部分,主干部分继续进行之前的残差块的堆叠;另一部分则经过少量处理与多个残差的输出特征直接相连,有较大的残差边。这个结构可以增加深度来提高准确率,且可以有效缓解深度增加带来的梯度消失问题,但是也会将噪声一起传到更深的网络,从而影响准确性。加入CBAM模块后,使网络更加关注重要特征,一直非必要特征,减轻噪音对网络传输的影响,大大提高了模型在复杂背景环境下对柑橘木虱的检测能力。
本研究的改进YOLOX模型与原版YOLOX以及其他YOLO类算法精度对比如表 2所示。从表 2可以看出,木虱检测模型AP值分别提高2.70、8.61、4.23、3.62个百分点,取得了很好的检测效果。
2.2 消融比较实验分析
为分析本文各改进策略对模型性能的影响,共设计3组实验对不同的改进进行分析,每组实验均使用相同训练参数,在实景采集的木虱数据集上对各改进策略进行训练和评估,模型性能检测结果如表 3所示,其中“√”代表在改进模型中使用的策略,“×”代表在改进模型中未使用的策略。原版YOLOX模型AP值为82.96%,在主干网络3个有效特征层加入CBAM注意力模块后,AP值提高2.11个百分点;改变交叉熵损失为Focal Loss损失后,AP值提高0.79个百分点。引入Focal Loss损失函数后,解决了木虱数据集样本不均衡的问题,从而提高了准确率。
3 讨论
YOLOX是至今为止非常优秀且在工业领域获得一致好评的开源检测算法,其在输入端添加了Mosaic和MixUp进行数据增强,主干部分主要采用Focus、CSP跨阶段局部网络结构和SPP空间金字塔池结构组成,预测端与之前YOLO系列相比有很大改变,增加了3个Decoupled Head解耦头,使网络收敛速度加快,增强网络表达能力;标签分配策略上对OTA进行了简化,提出了SimOTA,在训练过程自适应地动态分配正样本,大大缩短训练时间。本研究针对目前小目标检测存在精度低、误检率高等问题,以YOLOX作为基准模型提出了一种柑橘木虱检测模型,通过在主干网络的3个有效特征层加入卷积注意力模块CBAM,使其对于某些特征层和空间区域更加关注;使用Focal Loss损失函数替换目标损失中的交叉熵损失,使模型训练更加稳定,收敛速度更快。
注意力机制的灵感最先起源于人类的视觉研究,人们可以非常轻松地分辨重要区域和不重要区域,从而获得重点信息。注意力机制是对数据引入注意力权重信息,突出重要特征,并且抑制非重要信息。CBAM结合了图像的通道维度和空间维度,使得网络可以获得全局信息并进行分析,从而更加关注图像中的目标信息。基于YOLOX的木虱检测模型通过加入CBAM,使得网络更加关注木虱小目标所在区域,从而提升木虱检测能力,AP值提高了2.11个百分点,且参数量增加很小。
在实际的预测中,小目标相较于大目标有着更低的准确率,更难预测,交叉熵损失函数没有很好的提高模型对小目标的检测能力,为了进一步提高模型对小目标的检测效果,将目标损失中的交叉熵损失改为使用Focal Loss损失函数计算,其通过一个超参数γ来控制网络对小目标的关注度,通过降低负样本的权重,使网络在训练阶段可以更加关注真实部分和困难样本,弱化数据不平衡问题,从而提升性能。
本研究通过对YOLOX的探索和优化,针对柑橘木虱数据提出了一种精度更高的检测模型。但是性能在我们自己创建的数据集上面没有公共数据集表现的优秀,因此在数据采集阶段的工作还需标准化。另外,人工数据标注也会对样本训练产生一定的影响,可以考虑一些自动标注方法。
4 结论在科技快速发展的今天,农业智能化已经成为一种趋势,亟待为果园的智慧管理提供一种解决办法。本研究基于YOLOX检测方法,在汲取前沿科技成果的基础上,通过在主干网络的3个有效特征层加入卷积注意力模块CBAM,提高其重点信息关注程度;改变交叉熵损失为Focal Loss损失,削弱样本不平衡问题,增强小目标检测能力,经过测试,AP值为85.66%,比原模型提高2.70个百分点,推动着目标检测领域向着更快更准的方向高速发展。
[1] |
谌国莲, 刘家容, 邓倩婷. 有机栽培和生态防控技术对改善黄龙病柑橘果实品质的探究[J/OL]. 浙江农业科学, 2022: 1-7[2022-09-09]. DOI: 10.16178/j.issn.0528-9017.20220024. SHEN G L, LIU J R, DENG Q T. Study on the improvement of citrus fruit quality by organic cultivation and ecological control techniques[J/OL]. Zhejiang Agricultural Science, 2022: 1-7[2022-09-09]. DOI: 10.16178/j.issn.0528-9017.20220024. |
[2] |
吴丰年, 谢素金, 李海生, 许鹏彬, 林锐芝, 黄锐浩, 徐淡云, 陈佳明, 吴清韩, 张福平, 刘丽辉, 黄剑坚. 潮汕地区柑桔黄龙病菌及虫媒柑桔木虱的发生与种群研究[J]. 中国南方果树, 2022, 51(2): 12-17. DOI:10.13938/j.issn.1007-1431.20210551 WU F N, XIE S J, LI H S, XU P B, LIN R Z, HUANG R H, XU D Y, CHEN J M, WU Q H, ZHANG F P, LIU L H, HUANG J J. Occurrence and population of citrus yellow-shoot pathogen and Diaphorina citri in Chaoshan Area[J]. Fruit Trees in Southern China, 2022, 51(2): 12-17. DOI:10.13938/j.issn.1007-1431.20210551 |
[3] |
王文杰, 何小海, 卿粼波, 董子铭, 熊淑华. 改进YOLOv5的船舶检测算法及嵌入式实现[J/OL]. 无线电工程, 2022: 1-10[2022-09-16]. http://kns.cnki.net/kcms/detail/13.1097.TN.20220908.2004.018.html. WANG W J, HE X H, QING L B, DONG Z M, XIONG S H. I mproved YOLOv5 ship detection algorithm and embedded implementation[J/OL]. Radio Engineering, 2022: 1-10[2022-09-16]. http://kns.cnki.net/kcms/detail/13.1097.TN.20220908.2004.018.html. |
[4] |
GUO H Y, YANG X, WANG N N, SONG B, GAO X B. A rotational libra R-CNN method for ship detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(8): 5772-5781. DOI:10.1109/TGRS.2020.2969979 |
[5] |
REN S Q, HE K M, GIRSHICK R, SUN J. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in Neural Information Processing Systems, 2015, 28: 2577031. DOI:10.1109/TPAMI.2016.2577031 |
[6] |
JEONG J, PARK H, KWAK N. Enhancement of SSD by concatenating feature maps for object detection[J]. ArXiv Preprint, 2017, 1705: 09587. DOI:10.5244/C.31.76 |
[7] |
周晓彦, 王珂, 李凌燕. 基于深度学习的目标检测算法综述[J]. 电子测量技术, 2017, 40(11): 89-93. DOI:10.3969/j.issn.1002-7300.2017.11.020 ZHOU X Y, WANG K, LI L Y. Review of object detection based on deep learning[J]. Electronic Measurement Technology, 2017, 40(11): 89-93. DOI:10.3969/j.issn.1002-7300.2017.11.020 |
[8] |
LI C Y, LI L L, JIANG H L, WENG K H, GENG Y F, LIANG L, KE Z D, LI Q Y, CHENG M, NIE W Q, LI Y D, ZHANG B, LIANG Y F, ZHOU L Y, XU X M, CHU X X, WEI X M, WEI X L. YOLOv6: A single-stage object detection framework for industrial applications[J]. ArXiv Preprint, 2022, 2209: 02976. DOI:10.48550/arXiv.2209.02976 |
[9] |
方梦瑞, 吕军, 阮建云, 边磊, 武传宇, 姚青. 基于改进YOLOv4-tiny的茶叶嫩芽检测模型[J]. 茶叶科学, 2022, 42(4): 549-560. DOI:10.13305/j.cnki.jts.2022.04.009 FANG M R, LYU J, RUAN J Y, BIAN L, WU C Y, YAO Q. Tea buds detection model using improved YOLOv4-tiny[J]. Journal of Tea Science, 2022, 42(4): 549-560. DOI:10.13305/j.cnki.jts.2022.04.009 |
[10] |
俞龙, 黄楚斌, 唐劲驰, 黄浩宜, 周运峰, 黄永权, 孙佳琪. 基于YOLOX改进模型的茶叶嫩芽识别方法[J]. 广东农业科学, 2022, 49(7): 49-56. DOI:10.16768/j.issn.1004-874X.2022.07.007 YU L, HUANG C B, TANG J C, HUANG H Y, ZHOU Y F, HUANG Y Q, SUN J Q. Tea bud recognition method based on improved YOLOX model[J]. Guangdong Agricultural Sciences, 2022, 49(7): 49-56. DOI:10.16768/j.issn.1004-874X.2022.07.007 |
[11] |
朱立学, 黄培峰, 黄伟锋, 韩群鑫, 陈品岚, 曾德钊. 基于图像处理技术的红火蚁检测识别[J]. 农业工程学报, 2022, 38(11): 344-350. DOI:10.11975/j.issn.1002-6819.2022.11.038 ZHU L X, HUANG P F, HUANG W F, HAN Q X, CHEN P L, ZENG D Z. Detection and recognition of red fire ant based on image processing technology[J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(11): 344-350. DOI:10.11975/j.issn.1002-6819.2022.11.038 |
[12] |
胡嘉沛, 李震, 黄河清, 洪添胜, 姜晟, 曾镜源. 采用改进YOLOv4-Tiny模型的柑橘木虱识别[J]. 农业工程学报, 2021, 37(17): 197-203. DOI:10.11975/j.issn.1002-6819.2021.17.022 HU J P, LI Z, HUANG H Q, HONG T S, JIANG S, ZENG J Y. Recognition of citrus psyllid using improved YOLOv4 tiny model[J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(17): 197-203. DOI:10.11975/j.issn.1002-6819.2021.17.022 |
[13] |
周逸博, 马毓涛, 赵艳茹. 基于YOLOv5s和Android的苹果树皮病害识别系统设计[J]. 广东农业科学, 2022, 49(10): 155-163. DOI:10.16768/j.issn.1004-874X.2022.10.018 ZHOU Y B, MA Y T, ZHAO Y R. Design of mobile app recognition system for apple bark disease based on YOLOv5s and android[J]. Guangdong Agricultural Sciences, 2022, 49(10): 155-163. DOI:10.16768/j.issn.1004-874X.2022.10.018 |
[14] |
PARTELl V, NUNES L, STANSLY P, AMPATZDDIS Y. Automated vision-based system for monitoring Asian citrus psyllid in orchards utilizing artificial intelligence[J]. Computers and Electronics in Agriculture, 2019, 162: 328-336. DOI:10.1016/j.compag.2019.04.022 |
[15] |
吕石磊, 魏志威, 吴奔雷, 李震, 洪添胜. 果园单轨运输机在轨状态感知系统研制[J]. 农业工程学报, 2020, 36(15): 56-64. DOI:10.11975/j.issn.1002-6819.2020.15.007 LYU S L, WEI Z W, WU B L, LI Z, HONG T S. Development of on-orbit status sensing system for orchard monorail conveyer[J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(15): 56-64. DOI:10.11975/j.issn.1002-6819.2020.15.007 |
[16] |
王林惠, 兰玉彬, 刘志壮, 岳学军, 邓述为, 郭宜娟. 便携式柑橘虫害实时检测系统的研制与试验[J]. 农业工程学报, 2021, 37(9): 282-288. DOI:10.11975/j.issn.1002-6819.2021.09.032 WANG L H, LAN Y S, LIU Z Z, YUE X J, DENG S W, GUO Y J. Development and experiment of the portable real-time detection system for citrus pests[J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(9): 282-288. DOI:10.11975/j.issn.1002-6819.2021.09.032 |
[17] |
胡妍月, 孙杨, 邹志文, 黄水金. 江西省柑橘木虱对五种常规药剂的抗药性[J]. 应用昆虫学报, 2022, 59(2): 419-425. DOI:10.7679/j.issn.2095-1353.2022.045 HU Y Y, SUN Y, ZOU Z W, HUANG S J. Resistance of Diaphorina citri Kuwayama to five conventional insecticides in Jiangxi province[J]. Chinese Journal of Applied Entomology, 2022, 59(2): 419-425. DOI:10.7679/j.issn.2095-1353.2022.045 |
[18] |
刘科宏, 崔学进, 周彦. 亚洲柑橘木虱中柑橘黄脉病毒的鉴定[J/OL]. 植物病理学报, 2022: 1-4[2022-09-14]. DOI: 10.13926/j.cnki.apps.000657. LIU K H, CUI X J, ZHOU Y. Identification of citrus yellow vein clearing virus from Diaphorina citri[J/OL]. Acta Phytopathologica Sinica, 2022: 1-4[2022-09-14]. DOI: 10.13926/j.cnki.apps.000657. |
[19] |
GE Z, LIU S T, WANG F, LI Z M, SUN J. Yolox: Exceeding yolo series in 2021[J]. ArXiv Preprint, 2021, 2107: 08430. DOI:10.48550/arXiv.2107.08430 |
[20] |
WOO S, PARK J, LEE J Y, KWEON I S. Cbam: Convolutional block attention module//Proceedings of the European conference on computer vision (ECCV)[C]. 2018: 3-19. DOI: 10.1007/978-3-030-01234-2_1.
|
[21] |
LIN T Y, GOYAL P, GIRSHICK R, HE K, DOLLÁR P. Focal loss for dense object detection//Proceedings of the IEEE international conference on computer vision[C]. 2017: 2980-2988. DOI: 10.1109/TPAMI.2018.2858826.
|
(责任编辑 邹移光)