英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

基于三维机器视觉系统的苹果果实大小估计

关键字：机器视觉 果实鉴定 三维配准 尺寸估计 （椭圆的）长轴

摘要：果树果实大小的估算是进行选择性机械收获和作物负荷估算的关键。用于水果检测和定位的机器视觉系统得到了广泛的研究。 用于机器人收割和作物负荷估计。然而，在利用机器视觉估计果实大小的研究还很少。这项研究是对d进行的。 一种机器视觉系统，由彩色CCD摄像机和飞行时间(基于光线)的3D摄像机组成，用于估计树上苹果的大小。作为衡量水果大小的指标，它的主轴 根据(I)相应苹果表面像素的三维坐标和(2)苹果表面单个像素的二维尺寸估算出(最长轴)。在基于三维坐标的MET中 利用三维坐标计算了苹果区域内像素对之间的距离，并估计出苹果区域内所有像素对之间的最大距离为 或者轴心。利用三维坐标估计主轴的精度为100%。在基于像素大小的方法中，像素的物理尺寸是使用一个基于校准模型的方法来估计的。 关于像素坐标和距相机像素的距离。然后，根据果实长轴上单个像素的大小估算出果实的长轴长度。s的精度 当采用基于像素大小的方法时，IZE估计值提高到了约简率。结果表明，利用三维机器视觉系统可以在室外环境下对果实大小进行估计。

介绍

精确的农业技术帮助生产者有效地管理他们的农场，通过优化土地、水、种子、肥料、杀虫剂、劳动力和农业的使用，将生产成本降到最低，其他农业投入。这项技术还提高了作物的生产力和农场的生产性能。同时减少对人类劳动的依赖。

材料与方法

2.1机器视觉系统

使用CCD相机（Prosilica Gige1290c，Allied Vision Technologies，Stadtroda，Germany）获取苹果树冠的彩色图像。此外，使用基于飞行时间（TOF）的光照相机（也称为3D相机（PMD Camcube 3.0，PMD Technologies，Siegen，Germany）获取3D图像。两个摄像头安装在一起（图1a），安装在一个过街感应平台上，以同时拍摄具有类似视野的树冠图像。为了提供控制照明环境，安装了色温为5116 K（日光）（图1b）（Trilliantreg;36发光二极管Grote，麦迪逊，印第安纳州）的白色LED灯，并通过覆盖在平台上并用不透明材料包围平台（更多细节见[15]）创建了隧道结构（图1c）。

图1-本研究中用于现场数据采集的摄像机和平台；（a）与3D摄像机一起安装的CCD彩色摄像机；（b）LED灯；以及（c）具有隧道结构的行上（OTR）传感器平台。

2.2野外数据收集

现场数据收集在商业苹果园，在华盛顿州格兰德维尤（Grandview，Washington）接受高轴建筑培训，摄像头和平台在第2.1节中讨论。“富士”苹果（图2）的颜色和3D图像在收获前就被捕获了。由于图像中部分隐藏苹果的大小将与完全可见苹果的大小不同，因此对被遮挡苹果的大小预测将包含较大的误差。为了避免由于部分隐藏的苹果造成的大小估计错误，本研究仅考虑完全可见的苹果（至少从树冠的一侧），假设这些苹果将代表树的平均果实大小和果实大小分布。在本研究中，根据25棵随机选择的树的图像，选择150个小程序。这些苹果的长轴和短轴是用游标卡尺作为地面测量的。此外，这些苹果被贴上标签，以确保在比较实际和估计的水果大小时使用相同的苹果。

2.3摄像机标定与苹果大小估计

采用摄像机标定方法确定彩色和三维摄像机的内外参数。对于这项任务，25个棋盘格图像是在不同的位置和角度与彩色和三维相机。然后利用matlab[24]提供的摄像机标定工具箱确定摄像机的内外参数。然后将彩色摄像机和三维摄像机在一个公共坐标系中进行共配准，对内、外相机参数进行估计。这些方法在[15]中有详细描述。

图2——在商业“富士”苹果园（Grandview，WA）拍摄的苹果图像

图像处理在Matlab软件（R2012A，Math Works Inc.，Natick，Massachusetts）中实现，使用颜色、形状和尺寸特征分割和检测彩色图像中的苹果，详细描述见[15]。首先，对这些图像进行色调、饱和度和强度（HSI）颜色空间均衡，放大了苹果（前景）和树叶和树枝（背景）在颜色图像中的颜色差异。采用邻域尺寸为5times;5的维纳滤波器滤除噪声。然后将图像转换回红色、绿色和蓝色（RGB）颜色空间，然后通过从红色通道中减去绿色和蓝色通道将图像转换为灰度图像。然后，采用Otsu的阈值方法[25]将图像像素分为前景和背景类，从而创建二进制图像。Otsu的方法使用灰度图像的柱状图和最佳灰度阈值进行自动阈值划分，将图像分为地面和背景像素或对象。在这个过程的最后，循环-拉-霍夫变换（cht）[25]被用来识别这些二进制图像中的循环对象（apple）。

使用两种不同的方法（图3）估计检测到的苹果大小：（i）使用三维坐标调整苹果大小；（i i）使用图像像素的物理大小调整苹果大小。这些方法在下面的小节中详细描述。

2.3.1基于三维坐标的苹果尺寸调整

利用彩色图像和三维图像的共配准，确定了单个苹果区域（彩色图像）的三维信息。这种叠加提供了苹果区域内每个像素的三维坐标（X、Y和Z）。然后，利用三维像素坐标确定苹果区域内两个像素之间的欧氏距离。计算出苹果区域内任意两个像素（所有可能的像素对中）之间的最大距离，并将其用作相应苹果的主轴。然后，通过使用方程式（1）计算平均绝对百分比误差（MAPE），将长轴的估计尺寸与地面真值（使用游标卡尺手动测量）进行比较。

La=长轴的实际长度

Le=长轴的估计长度

N=苹果样品总数

图3——苹果大小估计方法的功能框图。

2.3.2基于像素大小的苹果大小调整

苹果区域的几何特性，如面积、长轴长度和短轴长度，可以很容易地从像素的数量来估计。为了将这些参数转换为一个物理单元，图像分辨率（每个像素的物理大小）如下面段落中所讨论的那样确定。然后，通过沿水果主轴添加单个像素的大小来估计每个苹果的主轴长度（图4）。

为了估计图像中每个像素的物理大小或分辨率，使用彩色和3D相机同时采集的许多棋盘格图像来模拟像素大小、像素坐标和距相机距离之间的关系。这项实验是在华盛顿州立大学精密与自动化农业系统中心（CPAAS）的机器视觉实验室进行的。将一个棋盘（0.874 mtimes;0.782 m）放置在距离摄像机10个不同的距离处，从0.6 m到1.4 m。这些成像距离是根据我们进行的现场试验的实际范围选择的。从棋盘上随机选取10个特定尺寸（4.6 cmtimes;4.6 cm）的方格，并使用激光传感器（德国斯图加特博世DLR 130 K）测量其与相机质心之间的距离。然后，利用方格的物理尺寸和相应图像中方格内的像素数确定方格内的实际像素大小。建立了一个回归模型（式（2）），根据像素坐标和距相机方格中心的距离预测像素大小。图5是实际像素大小与棋盘预测像素大小的关系图。实际像素大小与预测像素大小的回归系数（r2）为0.96，平均绝对误差为2.3%。

对于苹果检测，图像处理采用第3节所述的彩色。颜色和3D图像（如上所述）的共配准导致测量苹果像素与相机之间的距离以及沿主轴的像素坐标。利用回归模型（式（2）），估计出沿长轴方向所有像素的大小。然后用物理单位估计每个苹果的长轴，方法是将苹果区域长轴上所有像素的物理大小相加。结果与实际长度（现场手动测量）比较，计算平均绝对百分比误差（MAPE；公式（1））。将该方法（以MAPE为例）的精度与基于三维坐标法的苹果尺寸测量的精度进行了比较。

Major Axis

图4——苹果长轴的估计，是沿着水果长轴的像素物理分辨率的总和。

图5–棋盘格的实际像素大小与模型（估计）像素大小。

成果与讨论

使用两种不同方法（第2.3节）的苹果实际尺寸和估计尺寸如表1所示。基于三维坐标估算苹果长轴的平均绝对误差为30.9%（表1）。通常，与使用这种方法的实际水果大小相比，水果大小被高估了。基于像素大小估计苹果长轴的平均绝对误差为15.2%（表1）。因此，与基于三维坐标（69.1%）的估算相比，基于像素尺寸（84.8%）估算苹果尺寸时的估算精度要高得多。与苹果的实际尺寸相比，像素尺寸法估算的水果尺寸通常较小（图6）。这两种方法在尺寸估计上的误差主要来源于苹果分割、二维和三维相机的共配准以及低分辨率的三维图像。苹果分割的错误主要来自于只检测部分苹果区域或将搜索/背景误认为苹果区域（图7），这导致在图像中识别苹果像素的不准确。在二维彩色图像上叠加三维摄像机图像的固有困难导致苹果区域的三维坐标出现错误。此外，基于三维坐标的苹果尺寸估计的高度不准确是由于与彩色摄像机图像相比，三维摄像机图像的低分辨率。因此，在单个苹果地区，几乎没有3D坐标信息可用。因此，如果苹果边界的像素没有三维信息，基于三维坐标的尺寸估计将是错误的。通过提高配准精度，可以减少尺寸估计中的这些误差，在3D和彩色图像之间。此外，改进图像分割方法(例如，使用深度学习方法)和使用高分辨率3D相机可以帮助提高尺寸估计的精度。

<t

剩余内容已隐藏，支付完成后下载完整资料</t

资料编号：[609924]，资料为PDF文档或Word文档，PDF文档可免费转换为Word