文章信息
基金项目
- 岭南现代农业科学与技术广东省实验室河源分中心自主科研项目(DT20220009,DT20220007,DT20220011);北京市农林科学院财政项目(CZZJ202203)
作者简介
- 王凡(1994—),男,硕士,工程师,研究方向为农业信息化,E-mail:wfnn9448@163.com.
通讯作者
- 段丹丹(1984—),女,博士,高级工程师,研究方向为农业定量遥感监测,E-mail:duandd@nercita.org.cn.
文章历史
- 收稿日期:2023-03-31
2. 岭南现代农业科学与技术广东省实验室河源分中心,广东 河源 517000;
3. 清远市智慧农业农村研究院,广东 清远 511500;
4. 广东科贸职业技术学院,广东 清远 511500
2. Guangdong Laboratory of Modern Agricultural Science and Technology of Lingnan, Heyuan Branch, Heyuan 517000, China;
3. Qingyuan Academy of Smart Agriculture, Qingyuan 511500, China;
4. Guangdong Polytechnic of Science and Trade, Qingyuan 511500, China
【研究意义】近年来,高品质苹果在市场上表现出一定竞争力。一般来说,外观可以直观反映苹果质量,损伤作为影响水果品质的主要指标之一,对保证苹果品质和利润具有重要意义[1-2]。苹果在采摘或运输过程极易因外力作用使其表皮受到机械损伤,仅使用肉眼难于觉察。传统的水果损伤检测主要靠人工进行分类识别,这种方法耗时费力、主观性强,无法满足批量水果的快速实时检测,且不能对轻微损伤加以检测[3-4]。【前人研究进展】伴随科技的发展与进步,无损检测技术开始应用于水果品质检测中。使用较多的检测技术有高光谱成像(HSI)、近红外光谱、红外热成像、核磁共振等[5-8]。光谱分析和机器学习方法对于处理疾病检测中的HSI数据至关重要,可提取和利用高维数据中包含的有效信息[9-10]。张晋宝等[11]对苹果内外部品质检测方法进行研究,利用高光谱技术对外部损伤进行检测,优选出10个特征波段做PCA进行处理识别,最终达到90% 的损伤识别率。韩浩然等[12]分别使用PCA、波段比算法、监督分类法等进行模型建立,对鸭梨模型进行识别,PCA检测正确率达到95%,验证了利用光谱技术可以很好地完成对水果轻微损伤的无损检测。Ding等[13]以苹果的早期损伤为研究目标,利用高光谱成像技术检测得到400~1 000 nm光谱范围数据。通过选取特征波长并逐步判别分析,较好地区别1 h以上的损伤与正常苹果。Dan等[14]以3种苹果为研究目标,对其苹果表面缺陷进行检测,识别准确率分别为76%、85% 和95%。【本研究切入点】目前国内外许多研究进行了水果内外部品质检测[15-18],但多属于苹果内含物质品质检测和破坏性的检测方式,对于无损检测轻微损伤的研究较少。本文利用高光谱成像技术检测苹果的轻微损伤,并使用图谱融合的方法进行处理分析,可为产品在线检测提供一定参考。【拟解决的关键问题】本文应用高光谱成像技术,研究无损检测苹果表面损伤的可能性,通过比值光谱分析损伤与正常区域的光谱响应特性,构建最能准确辨别水果表面损伤的特征光谱指数,基于指数增强图像实现苹果表面损伤的快速无损识别,为高光谱图像技术对水果损伤的在线检测提供依据。
1 材料与方法 1.1 试验材料2022年11月上旬,在北京平谷苹果产区,选择大面积种植的具有代表性的苹果样本,共收集163个,涵盖3个品种(红富士、王林、国光)。为避免苹果表面的灰尘杂质等对数据采集造成影响,采集高光谱图像前将苹果清洗,并用75% 酒精对其表面进行消毒去污,置于常温室内备用。
1.2 高光谱图像采集苹果放置室内12 h后,采集样本的高光谱图像。高光谱图像采集系统由1个暗箱、1个升降平台、2个75W卤钨灯、2台风扇、1个高光谱成像仪和1台计算机组成,高光谱成像系统示意图如图 1所示。高光谱相机可以检测176个波长,在395.9~998.1 nm范围内均匀分布,分辨率为4 nm。苹果样本和相机镜头之间的距离为500 mm,镜头直径为25 mm。图像的空间分辨率为1 000×1 000,所有图像均通过水果的辐射率与白色参考面板的辐射率校准获取绝对反射率。
1.3 数据分析 1.3.1 高光谱图像ROI选择
在研究苹果表面损伤的光谱特征时,选择感兴趣区域(ROI)进行光谱信息提取。ROI从训练集中的每个图像中选取,分别位于正常和损伤区域的中心,避免光谱变化较大的区域,如苹果边缘茎干。在每个水果样品中,对正常和损伤区域两个ROI的所有像素进行平均,获得代表ROI的光谱,共获得120条损伤区域光谱120条正常区域光谱。
1.3.2 高光谱预处理基于白色参考的校准只能校正阳光强度和仪器响应的差异。光的空间分布和苹果几何形状的影响必须进一步纠正。在空间不同的照明条件下,基于光谱尺度(例如相对光谱)的校正可能是一种有效策略。研究表明,通过光谱归一化可有效抑制照明差异,归一化反射光谱根据以下公式计算:
公式(1) |
式中,Rλ为第λ波长处的相对反射率,n为波长总数。
1.3.3 光谱指数构建高光谱图像所包含的光谱信息数据量庞大,含有较大的冗余以及非光谱信息。因此选择合理的数据处理方法、寻找最能表征苹果轻微损伤的特征波长的图像非常重要。光谱指数(SI)将两个或两个以上波段的地物反射率或辐射值进行组合运算,以增强目标的某一特性或细节[19-20]。本研究选择常用的两波段光谱指数,通过苹果正常与损伤区域的比值光谱特征分析,构建新型两波段光谱指数,以便更好利用波长包含的信息。构建形式主要有归一化光谱指数(NDSI)、比值光谱指数(RSI)和差值光谱指数(DSI),光谱指数构建的计算公式如下:
公式(2) |
公式(3) |
公式(4) |
式中,Rλ1为高光谱波长为的波段λ1的光谱反射率,Rλ2为高光谱波长为λ2的光谱反射率。
1.3.4 图像处理根据式(2)~ 式(4)计算ROI的各特征光谱指数,在ENVI遥感图像处理软件环境下,基于“波段运算”,获得3种光谱指数增强图像,统计像素特征值。选取对损伤区域特征具有较强表征能力的指数图像,用于苹果损伤区域的分类识别。
1.3.5 无监督分类将迭代自组织数据分析算法(ISODATA)作为损伤检测的核心聚类方法。作为一种无监督分类方法,ISODATA算法的优点是不需要了解聚类的数量,与k均值聚类方法类似,根据到聚类中心的最短距离将像素分配给聚类,该算法通过迭代合并和拆分实现自适应聚类[21]。
设置ISODATA无监督分类最小(最大)类数为2(5)个,根据所选特征对每个样品的高光谱图像进行分类。训练后,ISODATA自动给出最合适的类号。该方法使用最小光谱距离将每个像素分到一类。首先从给定图像提取任意类均值,通过反复分类和重新计算新的类统计信息,然后将其用于下一次迭代,最多持续100次迭代或直到收敛阈值达到99%[22]。与一些经典的监督统计方法(如判别分析法、回归分析法)不同,该训练过程不定义特定的模型,而只是确定最佳阈值,其简单性可以提高其在损伤检测中的通用性。
1.3.6 准确性评估为验证分类结果准确性,对高光谱叶图像进行目视解释,并手动提取异常区域的ROI作为参考。将所提出的方法与参考ROI进行比较,以确定正确分类和错误分类样本的数量,基于总体准确度进行准确度评估。利用ENVI 5.3和MATLAB 2018b软件(MathWorks Inc.,Natick,马萨诸塞州,美国)进行统计分析和建模。
2 结果与分析 2.1 光谱特性分析从图 2可以看出,3种苹果的正常与损伤区域光谱曲线特征基本相同且无明显差异。图 3为损伤区域与正常区域在390~1 000 nm范围的平均光谱反射率曲线和光谱比值曲线。从图 3可以看出,正常区域与损伤区域光谱曲线的大体趋势相同,但苹果受到损伤后,在可见光区域(400~760 nm)有显著差异,随着损伤程度上升,光谱反射率值降低,呈明显负相关。这是因为遭受损伤后,苹果表面组织结构破坏导致色素沉着,水分和活性降低,导致可见光区域光谱反射率降低。
光谱比值处理能够将作为除数的正常区域光谱特征作为背景压制,而突出其他组分对于混合光谱的影响,通过观察比值光谱曲线可以发现,轻微损伤区域与正常区域的比值光谱曲线在蓝边(490~530 nm)和红边(670~720 nm)区域存在两个峰,且分别在528、676 nm处达到峰值。对两处光谱反射率进行ANOVA方差分析结果如表 1所示。损伤区域与正常区域的两处光谱反射率差异均达到0.05显著水平,光谱反射率有显著差异,说明528、676 nm处光谱在区分正常区域和损伤区域方面具有一定敏感性。因此,在后期数据处理过程中选取528、676 nm作为针对轻微损伤区域的特征波段,进行光谱指数的构建。
2.2 图像处理结果
图 4分别为3种特征光谱指数的苹果灰度图像,可以明显观察到正常区域和异常区域的灰度值存在较大差异。通过统计各ROI损伤区域与正常区域的NDSI、RSI、DSI的像素值,获取光谱指数的统计特征值(表 2)。正常区域的光谱指数特征的平均值与标准差分别为0.72、0.05;而损伤区域的光谱指数特征的平均值与标准差分别为0.14、0.02,两类图像特征在NDSI增强图像中的像素值具有较大差异。类似地,两类图像特征在RSI及DSI增强图像中的像素值平均值与标准差分别为0.42和0.06,0.08和0.03以及0.49和0.07,0.11和0.03。由表 2、图 4可知,损伤区域与正常区域特征在各SI增强图像中区分明显:正常区域特征在各增强图像中均具有较高的像素值,其色调表现明亮;相反,损伤区域特征在上述SI增强图像中均具有较低的像素值,其色调表现灰暗。不同区域建立的NDSI增强图像像素值的平均值具有较大差异,两类图像特征的NDSI平均值相差0.58。另一方面,建立的NDSI对损伤区域与正常区域特征具有较强的区分能力。虽然RSI与DSI具有类似的性质,但损伤区域特征的RSI平均值小于NDSI平均值,表明其提取损伤区域的能力较弱。另外,DSI提取损伤特征的能力介于NDSI与RSI之间,其提取损伤区域的能力相对较弱。
2.3 损伤检测结果
基于最优光谱指数特征图像,采用无监督分类ISODATA方法生成分类图像。为便于直观地评估检测结果,图 5展示了ISODATA可区分样品的二元分类图像。可以看出,苹果样本的损伤区域与正常区域整体上有良好区分。其中,绿色区域表示苹果表面的损伤区域,红色区域为正常健康区域,表明该方法可有效区分苹果表面正常与损伤区域。然而,虽然大多数受损区域被识别和分类,但一些不完美的识别区域出现在苹果外部轮廓周围(蓝色与黄色区域),分类的区域出现错误,可能是由于苹果作为球体表面光照不均匀导致。
2.4 苹果损伤判别模型
为进一步验证本研究检测苹果损伤的方法,按照以上步骤对额外80个苹果样本进行损伤区域检测,其中包含正常苹果40个、损伤苹果40个,检测结果如表 3所示。可以看出,40个损伤的苹果样本中有37个被正确检测出来,检测正确率为92.50%。40个正常苹果样本中有40个被正确检测出来,正确率为100%。
3 讨论
本研究对利用高光谱图像快速检测苹果损伤区域的可行性进行初步探索。为尽量减少外部因素和散射效应引起的变异性,将光谱反射率转换并组合成光谱指数,包括归一化光谱指数(NDSI),比值光谱指数(RSI)和差值光谱指数(DSI)等。其中,NDSI得到广泛应用,通过结合不同波长如归一化差分植被指数(NDVI)、归一化差水指数(NDWI)和归一化色素叶绿素指数(NPCI)。本文的结果证明了光谱指数在进行图像分割方面的巨大潜力,这与前人的研究结果一致[19, 23]。图像识别的传统过程必须与机器学习算法相结合,由于这些模型的复杂性和背景的差异,导致这些模型对于不同的品种通常不稳定。以往研究多根据图像阈值分割结合形态学操作方法实现损伤区域的提取识别,分割阈值的确定往往是有效识别损伤区域的关键,需要人工选取最佳的阈值,且在较大光照差异影响下往往会造成误分割。本研究利用高光谱图像数据中包含的丰富光谱和成像信息,提出的方法使提取目标偏差小,边界光滑,可以区分严重的光照不均匀区域,避免因光照不均匀导致的损伤区域误判。一般来说,该方法可以扩展到具有明确光谱响应特征的水果损伤、疾病的自动识别和诊断。
本研究仅使用两波段光谱信息,数据量小、计算速度快,对损伤区检测也比较准确。此外,将图像分析和无监督机器学习方法结合起来,构建自适应算法,只需通过训练确定特征选择和分类阈值,无需复杂的训练建模,在检测水果表面机械损伤的无损检测领域有较好的发展前途。此外,还可以考虑为相机定制波段,从实际角度来看,有助于开发低成本仪器。
同时,鉴于损伤类型的多样性,未来可能需要识别不同类型的损伤,对于检测方法的特异性也是一种考验。此外,由于高光谱图像获取灯光与传感器的观察方向之间存在角度,苹果作为一个球体表面光照不均匀,平面参考板或许不是理想的漫反射器,完全去除光照的影响几乎是不可能的。因此,后续研究可考虑使用参考球代替传统的参考板。
4 结论本研究利用高光谱图像技术检测苹果损伤进行研究,对所获得的高光谱图像数据进行比值光谱分析,优选特征敏感波长(528 nm和676 nm),利用该两波段组合光谱特征指数增强下的图像,通过ISODATA无监督分类图像处理技术可以有效检测苹果表面的损伤区域。本研究结果表明,基于528、676 nm的光谱反射率建立的NDSI对损伤区域及正常区域特征具有较强的区分能力。ISODATA方法的苹果损伤识别正确率为92.50%,该方法为现实复杂情景下检测苹果表面损伤提供了有效的解决方案,在水果生产和检测的高通量表型分析中具有巨大潜力。
[1] |
ABASI S, MINAEI S, JAMSHIDI B, FATHI D. Development of an optical smart portable instrument for fruit quality detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-9. DOI:10.1109/TIM.2020.3011334 |
[2] |
BENELLI A, CEVOLI C, RAGNI L, FABBRI A. In-field and non-destructive monitoring of grapes maturity by hyperspectral imaging[J]. Biosystems Engineering, 2021, 207: 59-67. DOI:10.1016/j.biosystemseng.2021.04.006 |
[3] |
贾敏, 欧中华. 高光谱成像技术在果蔬品质检测中的应用[J]. 激光生物学报, 2018, 27(2): 119-126. JIA M, OU Z H. Application of hyperspectral imaging technique in quality inspection of fruits and vegetables[J]. Acta Laser Biology Sinica, 2018, 27(2): 119-126. |
[4] |
赵曼彤, 李柏承, 周瑶, 侯宝路, 张大伟. 香梨表面低浓度农药残留高光谱检测研究[J]. 光学技术, 2016, 42(5): 408-419. DOI:10.13741/j.cnki.11-1879/o4.2016.05.006 ZHAO M T, LI B C, ZHOU Y, HOU B L, ZHANG D W. Detection of low concentration pesticide residue on pears by hyperspectral image technology[J]. Optical Technique, 2016, 42(5): 408-419. DOI:10.13741/j.cnki.11-1879/o4.2016.05.006 |
[5] |
王泽, 轩俊伟, 任财, 麻浩, 罗艳丽, 邓策, 梁燕, 范亚楠. 基于高光谱的梭梭幼苗生境土壤氮素含量估算模型研究[J]. 广东农业科学, 2020, 47(1): 68-76. DOI:10.16768/j.issn.1004-874X.2020.01.010 WANG Z, XUAN J W, REN C, MA H, LUO Y L, DENG C, LIANG Y, FAN Y N. Study on estimation model of soil nitrogen content in haloxylon ammodendron seedlings habitats based on hyper-spectral data[J]. Guangdong agricultural sciences, 2020, 47(1): 68-76. DOI:10.16768/j.issn.1004-874X.2020.01.010 |
[6] |
沈佳, 熊永柱, 许燕婷, 刘惠娜, 程丹玲. 胁迫处理蜜柚叶片色素含量高光谱遥感估测模型研究[J]. 广东农业科学, 2018, 45(8): 118-129. DOI:10.16768/j.issn.1004-874X.2018.08.018 SHEN J, XIONG Y Z, XU Y T, LIU H N, CHENG D L. Study on hyperspectral remote sensing estimation models of pigment contents of pomelo leaves under different stresses[J]. Guangdong Agricultural Sciences, 2018, 45(8): 118-129. DOI:10.16768/j.issn.1004-874X.2018.08.018 |
[7] |
石瑞瑶, 田有文, 赖兴涛, 古文君. 基于机器视觉的苹果品质在线分级检测[J]. 中国农业科技导报, 2018, 20(3): 80-86. DOI:10.13304/j.nykjdb.2017.0580 SHI R Y, TIAN Y W, LAI X T, GU W J. Apple quality online classification based on machine vision detection[J]. Journal of Agricultural Science and Technology, 2018, 20(3): 80-86. DOI:10.13304/j.nykjdb.2017.0580 |
[8] |
徐赛, 陆华忠, 丘广俊, 王陈, 梁鑫. 水果品质无损检测研究进展及应用现状[J]. 广东农业科学, 2020, 47(12): 229-236. DOI:10.16768/j.issn.1004-874X.2020.12.024 XU S, LU H Z, QIU G J, WANG C, LIANG X. Research progress and application status of fruit quality nondestructive detection technology[J]. Guangdong Agricultural Sciences, 2020, 47(12): 229-236. DOI:10.16768/j.issn.1004-874X.2020.12.024 |
[9] |
刘窈君, 杨艳萍. 水果品质控制的无损检测技术应用及发展[J]. 北方园艺, 2020(1): 152-157. DOI:10.11937/bfyy.20191932 LIU Y J, YANG Y P. Application and development of nondestructive testing technology for quality control of fruit[J]. Northern Horticulture, 2020(1): 152-157. DOI:10.11937/bfyy.20191932 |
[10] |
LAN W J, JAILLAIS B, RENARD CMGC, LECA A, CHEN S C, LE BOURVELLEC C, BUREAU S. A method using near infrared hyperspectral imaging to highlight the internal quality of apple fruit slices[J]. Postharvest Biology and Technology, 2021, 175: 111497. DOI:10.1016/j.postharvbio.2021.111497 |
[11] |
张晋宝. 高光谱技术在苹果检测中的应用[D]. 沈阳: 东北电力大学, 2016. ZHANG J B. The application of hyperspectral technology in the detection of apple[D]. Shenyang: Northeastern Electric Power University, 2016. |
[12] |
韩浩然. 基于高光谱成像的水果轻微机械损伤无损检测的研究[D]. 昆明: 云南师范大学, 2018. HAN H R. Study on non-destructive detection of light mechanical damage of fruits based on hyperspectral imaging[D]. Kunming: Yunnan Normal University, 2018. |
[13] |
DING C Q, FENG Z, WANG D C, CUI D, LI W H. Acoustic vibration technology: Toward a promising fruit quality detection method[J]. Comprehensive Reviews in Food Science and Food Safety, 2021, 20: 1655-1680. DOI:10.1111/1541-4337.12722 |
[14] |
DAN S. NIR spectroscopy fruit quality detection algorithm based on the least angle regression model[J]. International Journal of High Performance Systems Architecture, 2020, 9(2/3): 128-135. DOI:10.1504/IJHPSA.2020.10033757 |
[15] |
孙世鹏, 彭俊, 李瑞, 朱兆龙, MANUEL V A, 傅隆生. 基于近红外高光谱图像的冬枣损伤早期检测[J]. 食品科学, 2017, 38(2): 301-305. DOI:10.7506/spkx1002-6630-201702047 SUN S P, PENG J, LI R, ZHU Z L, MANUEL V A, FU L S. Early detection of date damage based on near-infrared hyperspectral images[J]. Food Science, 2017, 38(2): 301-305. DOI:10.7506/spkx1002-6630-201702047 |
[16] |
王浩云, 李晓凡, 李亦白, 孙云晓, 徐焕良. 基于高光谱图像和3D-CNN的苹果多品质参数无损检测[J]. 南京农业大学学报, 2020, 43(1): 178-185. DOI:10.7685/jnau.201906067 WANG H Y, LI X F, LI Y B, SUN Y X, XU H L. Non-destructive detection of apple multi-quality parameters based on hyperspectral imaging technology and 3D - CNN[J]. Journal of Nanjing Agricultural University, 2020, 43(1): 178-185. DOI:10.7685/jnau.201906067 |
[17] |
方益明, 杨帆, 李晓勤. 库尔勒香梨表面损伤的高光谱图像检测方法[J]. 激光与光电子学进展, 2020, 57(14): 173-179. DOI:10.3788/LOP57.141017 FANG Y M, YANG F, LI X Q. Hyperspectral image detection method for surface damage of Kulle balsam pear[J]. Laser & Optoelectronics Progress, 2020, 57(14): 173-179. DOI:10.3788/LOP57.141017 |
[18] |
刘燕德, 高荣杰, 孙旭东. 便携式水果内部品质近红外检测仪研究进展[J]. 光谱学与光谱分析, 2010, 30(10): 2874-2878. DOI:10.3964/j.issn.1000-0593(2010)10-2874-05 LIU Y D, GAO R J, SUN X D. Review of portable nir instruments for detecting fr uit inter ior quality[J]. Spectroscopy and Spectral Analysis, 2010, 30(10): 2874-2878. DOI:10.3964/j.issn.1000-0593(2010)10-2874-05 |
[19] |
LI L, PENG Y K, YANG C, LI Y Y. Optical sensing system for detection of the internal and external quality attributes of apples[J]. Postharvest Biology and Technology, 2020, 162: 111101. DOI:10.1016/j.postharvbio.2019.111101 |
[20] |
TIAN X, LI J B, WANG Q Y, FAN S X, HUANG W Q, ZHAO C J. A multi-region combined model for non-destructive prediction of soluble solids content in apple, based on brightness grade segmentation of hyperspectral imaging[J]. Biosystems Engineering, 2019, 183: 110-120. DOI:10.1016/j.biosystemseng.2019.04.012 |
[21] |
郭云开, 曾繁. 融合增强型模糊聚类遗传算法与ISODATA算法的遥感影像分类[J]. 测绘通报, 2015, 465(12): 23-26. DOI:10.13474/j.cnki.11-2246.2015.369 GUO Y K, ZENG F. Remote sensing classification of combined enhanced fuzzy clustering genetic algorithm with ISODATA algorithm[J]. Mapping Bulletin, 2015, 465(12): 23-26. DOI:10.13474/j.cnki.11-2246.2015.369 |
[22] |
张羽, 杨涛, 马吉锋, 黄宇, 郑恒彪, 程涛, 田永超, 朱艳, 姚霞. 数学形态学辅助下基于光谱指数的作物冠层组分分类[J]. 农业工程学报, 2022, 38(7): 163-170. ZHANG Y, YANG T, MA J F, HUANG Y, ZHENG H B, CHENG T, TIAN Y C, ZHU Y, YAO X. Classification of crop canopy components based on spectral indices assisted by mathematical morphology[J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(7): 163-170. |
[23] |
黄巧义, 张木, 黄旭, 李苹, 付弘婷, 张发宝, 唐拴虎. 基于可见光谱色彩指标Otsu法的水稻冠层图像分割[J]. 广东农业科学, 2018, 45(1): 120-125. DOI:10.16768/j.issn.1004-874X.2018.01.020 HUANG Q Y, ZHANG M, HUANG X, LI P, FU H T, ZHANG F B, TANG S H. Segmentation of rice canopy image using the Otsu method based on visual spectral image color related indices[J]. Guangdong Agricultural Sciences, 2018, 45(1): 120-125. DOI:10.16768/j.issn.1004-874X.2018.01.020 |
(责任编辑 白雪娜)