基于YOLO深度信息融合的银杏花穗定位与定向检测研究

[摘要] 随着电子信息技术的快速发展，智能化的生产方式已经在许多领域得到运用。智能机械化能够保证林业的生产发展收获高效、高质、高经济效益、高环保效益的成果。本综述提出在银杏花穗采摘智能机械化发展方面的可行性。阐述了深度学习在林业生产中的各方面的运用及其进步性，介绍了深度学习国内外的研究现状，介绍了YOLO算法的发展历程及研究现状。

关键词：深度学习，图像处理，YOLO算法，银杏花穗，定位定向

1. 前言

银杏遍布全球温带、暖温带及亚热带广大地区。银杏在本土中国极其昌盛，栽培历史、栽培面积、品种资源、果叶产量居全球之冠。银杏是雌雄异株，所以在培植过程中需要天然授粉或者人工授粉。我国现阶段银杏培植中使用人工授粉居多，但收集花粉工作量大，工作时间短，人工收集效率低，传统机械收集所受限制大，所以实现银杏人工授粉自动化是目前需要解决的问题。本文针对银杏花穗的自动化采摘做出具体的实施方案。通过YOLO算法深度学习银杏花穗，识别出处于花期内的雄性花穗，并确定其空间位置，传递给机器手臂，并用末端执行器对银杏花穗进行自动采摘。实现机器化自动化采摘。

1. 国内外研究概况

2.1 林果识别研究现状

采摘机器人视觉系统的研究始于上世纪80年代，并伴随着图像处理技术与人工智能理论的发展而不断进步。如今运用在农业方面的林果识别研究日趋完善和进步，在许多农、林果实采摘领域都有了应用。如枸杞^{[1, 2]}、苹果^[3-9]、百香果^{[10, 11]}、刺梨果^[12]、猕猴桃^[13-15]、柑橘^[16-19]、柚子^[20]、番茄^{[21, 22]}、芒果^{[23, 24]}、油茶果^[25]、葡萄^{[26, 27]}、小浆果^[28]、油菜籽^[29]、中药材^[30]、青梅^[31]、草莓^[32]等农、林果实的采摘。

汤林越的基于阈值分割的绿色柑橘检测方法^[16]。研究的重点是基于阈值分割技术，构建有效的绿色柑橘检测算法。他将阈值分割算法分为预处理、分割和后处理三个阶段，在预处理阶段主要对图像颜色特征进行分析，确定可用于分割的颜色分量;在分割阶段主要是确定增强图像对比度的方法以及选择合适的分割阈值:在后处理阶段主要是对二值分割图像做进一步的形态学处理，实现对目标的定位检测。他使用了基于Faster RCNN的绿色柑橘检测方法。重点是基于FastcrRCNN算法，训练并优化有效的绿色柑橘检测模型。

田玉宇的复杂环境下苹果采摘机器人的目标识别算法中^[3]，针对采摘机器人的快速识别算法和同色系果实识别过程中因为被遮挡而造成的难识别问题，提出利用深度网络定位提取果实区域，使用Kinect相机分别采集到果实的深度图像和RGB图像，得到的深度图像噪声比较大，用均值滤波器对图像进行处理。利用等深信息解析目标图像的梯度场，将三维梯度场信息进行二维投影，由映射的深度信息计算目标物的三维几何特征，并由此绘制深度图像的等深图。做向量沿着深度D在平面(z,y)方向上的偏导数，将箭头映射到二维平面中，得到的方向向量在梯度场中沿苹果表面方向呈现向外发散状。所有向量统一固定原点沿顺时针方向旋转90旋转后的向量在果实出呈顺时针旋涡状，将涡度最大的地方定位为果实中心。在果实中心区域使用CHT对果实轮廓拟合，得到果实区域。实现了采摘机器人对目标果实的快速识别，解决了识别精度与运行速度之间的矛盾。

王瑞在自然场景下猕猴桃识别方法研究^[13]中对采集的称猴桃图像进行分析，采用基于色差法的Otsu阂值法和基于Renyi嫡阂值分割法两种方法实现果实与背景的分割。对比并分析实验结果，本文最终选择0.9R-G,G-0.9R, G-R, R-G色差分量对称猴桃图像中的果实、树叶、草地、天空和树干目标物进行阂值分割处理，针对部分背景复杂，且果实众多的图像，本文采用基于Renyi嫡的阂值分割法。针对分割处理后的二值图像存在的残留物问题，利用面积阂值法，形态学处理算法进行残留物去除，为特征提取打好基础。根据分割后的二值图像绘制目标物边缘轮廓，并利用最小外接矩形算法提取样本。针对称猴桃自身颜色特征及特殊的表皮毛刺构成的纹理特征和背景样本(包括树叶、天空、草地及枝干)的纹理、颜色特征的分析，本实验拟提取包括HSV颜色特征、灰度共生矩特征、Tamura特征中的对比度、线性度和粗糙度共10个人为设计特征和基于PCANet的深度学习特征，为基于神经网络和支持向量机模型的果实识别做好准备。根据提取的果实、树叶、天空、草地及枝干特征，建立基于神经网络和支持向量机的果实识别模型。分别对BP神经网络、PCANet深度学习模型和支持向量机((SVM)算法进行建模实验。实验结果表明，使用PCANet网络的识别效果最好，识别率达到94.92%,而支持向量机和BP神经网络的识别率分别为87.67%和65.09%。

李鑫的用于机器采摘的高架草莓识别宇分级方法的研究^[32]中提出了采摘场景下的高架草葺图像样本的预处理手段，包括:利用双边滤波和Ostu分割实现目标与背景分离，以及采用最小外接矩形标记法获得成熟草葺识别和质量分级方法的实验样本。其次，提出了多尺度滑动窗口草葺目标检测法，采用基于HOG特征和支持向量机(SVM)的检测算法。