英语原文共 44 页，剩余内容已隐藏，支付完成后下载完整资料

附录A 外文译文

使用机器视觉在自动装配机中进行故障检测和分类

Vedang Chauhan¹ amp; Brian Surgenor¹

摘 要

自动装配机连续运行以实现高生产率。连续运行会增加发生故障的可能性，例如卡纸，零件丢失以及子系统的机电故障。该研究项目的目标是开发和验证机器视觉检查（MVI）系统，以使用单个摄像机作为传感器来检测和分类多个故障。一台工业自动化的O形圈装配机被修改为测试设备，该机器以每分钟100个以上的装配速率将O形圈放置在连续移动的塑料载体上。带有LED面板灯的工业相机用于照明，以获取机器运行的视频。具有人机界面（HMI）的可编程逻辑控制器（PLC）允许以受控方式生成故障。针对该应用开发了三种基于文献中可用的计算机视觉技术的MVI方法。这些方法使用从视频中提取的功能来分类机器的状况。第一种方法基于高斯混合模型（GMM）；第二种方法采用光流法。第三种方法是基于移动平均和形态图像处理操作。为了提供量化相对性能的单一度量标准，开发了一种机器视觉性能指标（MVPI），其中包含五种性能指标：准确度，处理时间，响应速度，抗噪声能力以及调整的便利性。报告了三种MVI方法的MVPI以及结果的重要性。

关键字：机器视觉，自动装配机，故障检测和分类，性能指标。

1.引言

由CCD或CMOS技术中的使用机器进行自动化组装可以使现代制造业实现高生产量并获得竞争优势。为了实现这些目标，全天候操作自动化机器。组装机的连续运行会导致其各种机构的磨损，进而导致机器故障，例如零件卡纸，组装中的零件丢失，未对准以及随后的机器停机所造成的堵塞。当发生机器故障时，一小部分的停机时间将花费在实际维修上，而大部分时间都花在了查找问题根源上[1]。即使采用最先进的技术，也很难防止机器出现故障，例如组件中缺少零件，零件卡住，未对准和阻塞。早期的故障检测和分类可以帮助您在最短的时间内将计算机恢复到在线状态[2]。来自不同领域的许多研究人员已经研究并开发了具有不同应用的各种故障检测和分类方法。因此，为本研究工作中使用的故障检测，分类和诊断定义一些术语很重要。检测是第一阶段，一旦发现故障，便会立即将其识别出来。分类是处理故障类型和位置的第二阶段。在第三阶段可以获取有关故障的更多信息，在第三阶段中，诊断将确定故障原因。这项研究工作涉及应用于自动O形圈装配机的故障检测和分类系统的开发。这项研究工作的目标是开发和验证机器视觉检查（MVI）系统，以使用单个摄像头作为传感器来检测和分类多个故障。

机器中传统的故障检测方法基于传感器（例如限位开关，接近度，电位计，压力传感器以及电流和电压传感器）的读数，并通过极限检查对其进行监视，当传感器输出时会检测到故障 超过阈值上限或下限。最近的方法是基于模型的方法，其中使用机器输入和输出信号来生成过程的数学模型，以确定故障的发生。由于需要多个传感器，并且仅在超过阈值之后才检测故障，因此这些方法在增加成本方面受到限制。此外，它可能无法提供用于故障诊断的适当信息。因此，一旦发现故障，就需要一种更快的自动故障检测和分类方法，以最大程度地减少采取纠正措施的延迟时间。

MVI系统广泛用于成品检验应用，机器人引导，对象跟踪等。这些系统使用工业级相机以图像和视频的形式获取数据。摄像头可用于对机器的运行进行连续的视频采集，计算机视觉技术可用于开发非侵入式，需要更少处理时间并能够适应不断变化的工作条件的故障检测系统。MVI系统分为三种类型：基于PC，基于视觉传感器和基于智能相机。基于PC的系统使用数码相机来获取图像并将其发送到运行机器视觉检查算法的PC。由于将图像数据发送到PC所需的时间，这种类型的MVI系统相对较慢。基于视觉传感器的系统使用具有自己的处理器的视觉传感器，并且它可以执行一组有限的预定义检查任务。视觉传感器使用专有软件进行应用程序开发。基于智能相机的系统使用具有处理器，内存，数字I / O和以太网连接的相机进行远程监视和控制。与视觉传感器相比，智能相机具有更大的灵活性，并且它可以使用其I / O执行多项任务，例如图像采集，处理和控制其他外围系统。在此研究的背景下，设计并开发了基于PC的MVI系统，用于在自动装配机上进行故障检测和分类。

1. 相关工作

本研究的主题是为自动组装机开发故障检测和分类系统。许多研究人员已经在机器故障检测和诊断的一般领域中工作。在文献回顾期间，发现了几篇关于装配自动化中的机器状态监测和故障检测的论文。本节将对非机器视觉和基于机器视觉的论文进行选择。

机器中传统的故障检测方法基于传感器（例如限位开关，接近开关，电位计，压力传感器以及电流和电压传感器）的读数，并通过极限检查对其进行监视，当传感器的输出超过任一极限时，就会检测到故障 阈值上限或下限。最近的方法是基于Petri网的[3]，基于模型的[1]和基于参数估计的[4]方法。研究人员还使用信号处理方法进行故障检测[5，6]。决策树和人工神经网络（ANN）被广泛用于装配自动化中的故障检测和诊断。提出了一种基于决策树的通用系统ROBODOC，用于自动化系统的故障诊断和维护[7]。该方法使用DCLASS（一种用于决策和故障和症状分类的组技术方法）。Demetgul等。[8，9]实现了两个人工神经网络：自适应共振理论（ART）和反向传播（Bp），用于在气动模块化生产系统中进行故障检测。两种人工神经网络都使用从八个不同传感器收集的数据进行了正常和故障操作的培训，并且能够使用经过培训的网络正确分类故障。Fernando和Surgenor [10]开发了一个系统，该系统使用三个灰度传感器和两个限位开关在自动装配机中进行故障检测和识别。结果表明，当出现未知或多个故障时，基于规则的系统更有用。

Sekar等[11，12]提出了一种基于可编程逻辑控制器（PLC）的自动装配系统的电子诊断方法。研究表明，在专家工程师和新手操作人员之间，在总体故障排除性能方面没有显着差异。本节的其余部分将讨论基于MVI的论文。

有人提出，机器视觉技术可以以更好的产品质量，更高的客户满意度，更少的检查时间和更高的生产率来帮助行业获得竞争优势[13]。MVI系统使用数码相机和图像处理软件来检查产品或过程。使用数码相机，基于PLC和PC的人机界面（HMI）对基于Web的远程监视，控制和诊断制造过程进行了研究[14]。

人工神经网络通常用于使用MVI系统进行分类和模式识别的问题。提出了一种机器视觉系统，用于检测钢冲压件上的紧固件缺失[15]。开发了一种神经模糊图像分类算法，并将其与基于阈值的分类器进行了比较。据报道，神经模糊分类器的性能优于基于阈值的分类器。MVI系统通常用于检测场景中的异常事件，例如拥挤视频中的事件检测[16、17]休斯等。[18]研究了基于时空量（STV）的视频事件检测方法在自动装配机中进行故障检测的应用。使用一组正常操作序列对训练有素的模型STV进行建模。建立了用于正常和故障操作序列的新STV，并将其与经过训练的STV模型进行比较，并使用距离测量将其分类为适当的类别。实现了使用机器视觉自动检测引线框架中冲压缺陷的方法[19]。该系统能够检测连续卷轴和单独切割的引线框架中的缺陷，且旋转偏差为plusmn;10°。Shahabi和Ratnam[20]提出了一种机器视觉系统，用于对车削的车头磨损和表面粗糙度进行周期监测。在使用MVI系统进行的检查与手写笔之间记录的最大偏差为10％。

Xiaokun和Porikli [21]提出了一种新颖的方法，可以使用MVI系统自动检测高速公路交通事件，例如拥堵，高速行驶的高车辆密度，空置，交通拥堵等。该算法使用高斯混合隐马尔可夫模型（GMHMM）对交通事件进行分类。高斯混合模型（GMM）是一种使用概率密度估计对数据进行聚类的统计技术。该模型以94％的精度实时检测事件Zezhi等。[22]使用高斯混合模型从使用CCTV采集的彩色视频数据中分割出行驶中的道路车辆。这些应用表明，GMM与斑点分析相结合可以解决O型圈机器故障检测问题。机器上的转移履带堵塞与高速公路上的交通拥堵相似，漏斗故障的缺失与高速公路上的空位相似。

光流用于根据视频进行运动估计。它最初是由Horn和Schunck [23]提出的，以旋转球体和其轴线上的圆柱体为例。Patel和Shukla [24]使用光流实现了车辆跟踪算法。光流被用来分割用于车辆检测的图像帧。然后跟踪分段的车辆，并通过计算对象在一系列帧中移动的距离来确定车辆的速度。此应用程序显示了潜在的流量可用于运动物体检测和运动估计的潜力。对于O形圈机器，托架和O形圈遵循机器上的特定路径。使用光流技术对该路径的流量估计将有助于故障检测和分类。但是，没有发现使用光流方法进行组装机故障检测的出版物。

Usamentiaga等[25]提出了一种使用MVI系统检测钢厂生产线堵塞的系统。拟议的MVI系统从生产线上获取图像，对其进行处理，然后提取特征，这些特征可用来衡量从侧边修剪器弹出的工件数量的密度。这些功能用于使用移动平均值方法成功检测两个喷嘴中的卡纸。在运行的14个月中，MVI系统有效地检测了生产线中的卡纸情况。此应用程序证明基本的图像处理技术有可能解决O形圈机器检查问题。研究了使用三种MVI方法在自动装配机中的故障检测[26]。本文是对这项工作的扩展，增加了故障引入系统，故障检测方法的详细说明以及性能测量标准。

3.自动O形圈组装机

如图1所示，使用MVI系统对自动装配机进行故障检测和分类是在经过改进的装配机上进行的。该机的主要部件是两个旋转的传送轮（主轮和副轮），它们固定着空载架， 组件，作为O形圈供应的振动料斗，进料斜槽，两个空气传输轨道（传输1和传输2），主轮上方的气刀，用于拆卸未组装的O形圈，以及用于收集的真空系统多余的O形圈和组装好的O形圈。图中还显示了数码相机和四个LED面板灯。如前一节所述，该机器最初是作为大型机器的一部分设计的，在该机器中，其托架中的单个O形圈用于同轴电缆组装过程的下一阶段。为了本研究的目的，必须对机器进行修改，以使O形圈可以在组装周期结束时从其支座上分离出来，并返回给料斗。通过这种修改，机器可以连续运行。初级轮有16个位置可固定托架和组件。机器的最大转速为6.8 RPM。因此，最大装配速度为每分钟108个装配。下一段说明了正常装配周期的操作顺序。

机器将黑色的O形圈组装成连续移动的白色圆形载体，如图2所示。在机器的最大转速下，组装速度为每分钟108个。在运行过程中，随着料斗振动，稳定的O形圈流通过进料斜槽落到主齿轮上。主轮有16个插槽，用于固定和转移组件。当O形圈从进料槽掉落时，位于初级轮下方的定位销被抬起并用于将下降的O形圈对准托架。在此，将单个O形圈组装到支架的圆形凹槽上。主轮以大约6.8 RPM的速度旋转，使组件的线速度为135 mm / s。未被托架拾取的多余O形圈掉落到主齿轮上，并用气刀吹到收集箱中。在那里，它们被真空抽吸并返回到料斗。在组装过程的下一个阶段中，托架（每个托架都装有一个O型圈）一次通过空气输送轨道1（输送装置1）被输送到辅助轮上。辅助轮将托架旋转到收集真空阀。此时，将O形圈从支座上抽真空，然后返回料斗。然后，空的托架通过空气传输轨道2（传输装置2）返回至主轮，并重复该循环。通过这种修改，机器可以连续运行。

图1.自动O形圈装配机。

该机器使用气动系统进行真空抽吸以及组件和空载架的转移。气动系统的空气由多个压缩机通过歧管供应。有六个电动气动阀，两个用于传输轨道，两个用于气刀，两个用于真空阀，以及两个用于收集真空的Line Vac阀。基本操作顺序是：（1）空齿轮箱出现在主齿轮上；（2）O形圈通过定位销组装到齿轮箱上；（3）组件转移到辅助齿轮上；（4）再循环的O形圈 回到料斗。与正常顺序的任何偏差都应视为组装周期中的故障。在正常循环中，组件在机器上的不同位置以不同的速度移动。组件以最高速度（0.6 m / s）通过气动传输轨道移动； O形圈以相对较慢的速度移动到主轮上（0.09 m / s）； O形圈以中等速度（0.33 m / s）从料斗掉落。在理想情况下，机器应以所需的速度（108组装/分钟）连续组装O形圈。

图2. O形圈（左），支座（中间）和组件（右）。

3.1机器故障

在长时间运行的机器中，观察到一系列常见的故障。这些故障是由于履带上的摩擦，由于低振动和O形圈的间歇性流动，漏斗缺少O形圈，或者由于气压下降导致气刀操作不当而发生的。其中一些故障可能会对机器的状况造成严重后果，而其他故障则可能导致缺少组件。传输轨道故障（传输1卡纸和传输2卡纸）是严重故障，因为如果不立即采取纠正措施，它们可能会损坏机器。另一方面，缺少O形环流动只会导致支架上的O形环丢失。该故障可能不会损坏机器，而只会导致装配不完整。这些故障相对于摄像机的视场（FOV）分为三个感兴趣区域（ROI），如图3所示。在实验视频数据收集的第一阶段，我们努力降低了故障的发生频率。这些缺点。换句话说，有必要在正常操作周期下运行机器，以衡量机器在近乎无故障的条件下的运行状况。在视频数据收集的第二阶段，使用带有Panel View C600 HMI的Allen Bradley MicroLogix 1400 PLC（24 VDC，20输入和12输出）引入受控故障，以获取用于故障操作的视频并传达MVI系统决定机器。

所采用的四个故障组的类型和位置如图4所示。故障如下：传输轨道1和2卡纸，气刀故障和料斗故障。这些故障分为三个ROI：转移轨迹ROI，气刀ROI和料斗ROI。由于传输轨道空气喷嘴中的气压低，轨道本身的摩擦或未组装的O形圈卡在轨道的狭窄通道中，可能导致传输轨道卡塞。气压不足可能会导致气刀故障，而气

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[605040]，资料为PDF文档或Word文档，PDF文档可免费转换为Word