A Comparative Study of Automated PCB Defect Detection Algorithms and to Propose an Optimal Approach to Improve the Technique

Mohit Borthakur Vishwakarma Institute of Technology,Pune

A-Wing,Flat No.7,Punya Nagri Society, Bibwewadi, Pune-37

Anagha Latne Vishwakarma Institute of Technology,Pune

83 amp; 84,H2-604,ManikMoti Complex, Katraj, Pune-46

Pooja Kulkarni Vishwakarma Institute of Technology,Pune

666, Upper Indira Nagar, Bibwewadi, Pune. 37

ABSTRACT

Automated visual printed circuit board (PCB) inspection is an approach used to counter difficulties occurred in manual inspection that can eliminate subjective aspects and then provide fast, quantitative, and dimensional assessments. Various concentrated work on detection of defects of printed circuit boards (PCBs) have been done, but it is also crucial to classify these defects in order to analyze and identify the root causes of the defects. However, besides the need to detect the defects, it is also essential to classify these defects so that the source of these defects can be identified. Based on studies done till now, some PCB defects can only exist in certain groups. Thus, it is obvious that the image processing algorithm could be improved by applying a segmentation exercise. This paper makes a comparative study of all such algorithms developed till date, to analyze their shortcomings and thereby provide an optimal approach to detect maximum of the defects with higher accuracy as well as with speed. This approach uses morphological image segmentation algorithm and simple image processing theories. The given algorithm can overcome most of the defects of previous algorithms and detect more than 80% of defects in a given PCB which ranges from missing components, broken tracks, misplaced components etc.

General Terms

Image Processing, Pattern Recognition, Algorithm, MATLAB

Keywords

PCB Testing, Digital Image Processing, Morphological Operators, Pattern Classification, Wavelet Transform

1. INTRODUCTION

The PCB (Printed Circuit Board) industry continues to adopt increasingly higher Windowing and Defect Extraction Operation levels of integration and achieving higher and higher levels of component density. As a consequence, the tolerance on PCB assembly has become tighter and tighter. This causes an increased need for reliable and accurate visual inspection of PCB boards. The manufacturing of PCB circuits uses SMT (Surface Mount Technology). The SMT circuit assembly consists of three major processes, screen printing solder paste on the PCB, component placement and then solder re-flow in a convection oven. Correspondingly, there are three main tasks of vision inspection in PCB assembly:

1. Solder Paste Inspection
2. Component Placement
3. Post-reflow Inspection

Placing a proper amount of solder paste on a pad is the key to prevent unwanted opens or shorts. Sometimes, it is possible to catch these unwanted opens or shorts using an in-circuit-test after all components are placed on the board, but most solder paste defects are impossible to catch after components are mounted.

Image Capture

Conversion to Greyscale

Noise Removal

Zooming

Operation

Sharpening of Image

Histogram Stretch and Equalize

Wavelet Transform

Subtraction Operation

Fig 1.Basic Block Diagram of Proposed System

Image difference operation is frequently used in automated printed circuit board (PCB) inspection system as well as in many other image processing applications. The inspection system performance depends critically on the speed of this operation, which is a common problem related to the image difference. In many of the cases thresholding operation is performed before difference operator is used in order to extract out certain features. The flow of the operation is depicted in Fig 1.

BACKGROUND

Moganti proposed [1] three categories of automated PCB inspection technique: referential approach, rule-based approach and hybrid approach [Fig 2].The referential approach compares the test PCB image against the reference PCB image. There are two major techniques: image comparison and model-based technique. Image comparison,

which is the simplest technique, consists of comparing both images pixel-by-pixel [2] by XOR logic operator. The operation is also called as image difference operation. It is based on the assumption that, any difference between the reference and the test image is considered as a defect.

pcb inspection

manual

inspection

automatic pcb

inspection

xray imaging

and other techniques

referential

approach

hybrid

approach

non referentail

approach

model based

inspection

image

comparison

morphological

processing

encoding

techniques

image

subtraction

template

matching

phase only

method

Fig 2. Classification of Detection techniques

The operation is simple but the main difficulty is to determine a precise alignment of the reference image and the test image, which makes its utilization difficult. More sophisticated

technique involves feature matching but this method normally requires a large number of templates.

Model-based methods are techniques, which match the pattern under inspection with a set of predefined models. Numerous techniques were proposed under model-based methods. They are tree representation technique [3], connectivity based technique [4], N-tuple technique [5] and Run Length Encoding (RLE) [6-8] based technique. RLE based technique is the best technique among the other model-based methods in the sense that it is possible to not just detect but also locate the defects. Under this technique, a PCB image is compr

剩余内容已隐藏，支付完成后下载完整资料

---

毕业设计（外文翻译）

一种用来提高PCB缺陷检测技术的算法优化研究

英文原题： A Comparative Study of Automated PCB Defect Detection Algorithms and to Propose an Optimal Approach to Improve the Technique

中文译题： 一种用来提高PCB缺陷检测技术的算法优化研究

原文作者： Mohit Borthakur Anagha Latne Pooja Kulkarni

联系单位： International Journal of Applications

摘 要

基于自动视觉技术的印刷电路板(PCB)的检查，是针对人工检查中出现的问题所采用的一种方法，可以消除人的主观因素，然后提供快捷和量化的分析评估。经历一些集中的工作后，印刷电路板（PCB）的缺陷检测已经完成，但更重要的是，这些缺陷需要被分类来便于我们分析和查明缺陷的根源。目前的研究基础表面，一些PCB缺陷只能存在于某些群体。因此，采用图像处理算法可提高分割的运动。在对以前的所有算法进行比较研究，并分析它们的不足后，我们提出了一个最佳的方法来检测最大的缺陷，这种方法具有较高的精度以及速度。该方法利用形态学的图像分割算法和简单的图像处理的理论。给出的算法能克服大部分原有算法的缺陷和在某一特定的PCB缺陷检测超过80%从失踪组件的范围，断轨，放组件等。

关键词：PCB测试；数字图像处理；形态学算子；模式分类；小波变换

1研究介绍

PCB（印刷电路板）行业继续采用越来越高的窗口和缺陷提取操作级别的集成，并实现更高和更高水平的组件密度。 因此，PCB组装的容限越来越严格。 这导致对PCB板的可靠和准确的目视检查的需求的增加。 PCB电路的制造使用SMT（表面贴装技术）。 SMT电路组件由三个主要工艺组成，PCB上的丝网印刷焊膏，组件放置，然后在对流烘箱中重新焊接。 相应地，PCB组装中视觉检测有三个主要任务：

1，焊膏检验

2，组件放置

3，回流检验

在焊盘上放置适量的焊膏是防止不必要的开路和短路。 有时，在将所有组件放置在电路板上之后，可以使用在线测试来捕获这些不需要的开路或短路，但是大多数焊膏缺陷在组件安装后是不可能捕获的。

图1 拟议系统的基本框图

图像差异操作经常用于自动印刷电路板（PCB）检查系统以及许多其他图像处理应用。检查系统的性能主要取决于该操作的速度，这是与图像差异相关的常见问题。在许多情况下，在使用差分运算符之前执行阈值操作用来提取某些特征。 操作流程如图1所示。

2 研究背景

Moganti提出了三类PCB自动检测技术：参考法、基于规则的方法和混合方法[如图2]。参考法是将测试PCB图像与参考PCB图像进行比较。有两种主要的技术：图像比较和基于模型的技术。图像比较技术操作简单，但主要难点在于确定参考图像和测试图像的精确对齐，这使得其利用比较困难。而且复杂的操作涉及到特征匹配，这种方法通常需要大量的模板。

基于模型的方法是将检查中的模式与一组预定义模型相匹配的技术。基于模型的方法提出了许多技术。它们是树表示法，连通性法，N元组法和运行长度编码法。 基于RLE的技术是其他基于模型的方法中最好的技术，这种方法不仅能做到检测，而且可以定位缺陷。 在这种技术下，PCB图像在RLE数据中被压缩，并且图像差异操作在压缩的RLE数据上完成。另一方面，基于规则的方法测试并确定PCB图像的每个特征是否落在所需尺寸内。这些方法通常使用形态学技术如侵蚀和扩张作为基本操作，它不需要参考模型。

图 2检测技术的分类

混合法是基于参考和非参考方法的组合，它具有这两种方法的优点。然而，这些方法都太复杂，导致计算成本过高。目前已有的研究方法都是优先采用基于模型的参照方法。 Ercal等人声称基于RLE的技术是最小化数据存储的有效方式。不过随着硬盘和存储器（RAM和ROM）变得越来越便宜，存储数据的限制不再是主要的问题。Ercal还称基于RLE的技术可用于减少PCB检查系统的检查时间。并且使用MATLAB的仿真结果表明它将一个400times;400像素的位图图像转换成RLE数据需要6.399秒。

模拟结果表明，RLE转换的位图需要消耗大量的时间。类似地，对于全分辨率图像差分操作，图像需要逐个像素扫描，以便识别并计数表示对象像素的像素值零的存在。这就是为什么图像差分操作和位图到RLE转换单独具有几乎相同的处理时间的原因。此外，RLE数据的收缩图像差分算法完成之后，需要RLE数据重建为位图图像，以便可视化缺陷。为了解决这个缺点可以将PCB图像划分为基本图案的分割算法。分割算法对于促进图像数据在并行处理中的分布至关重要，以便更快的检测响应。

二维信号（即图像）的小波变换的计算被应用为行/列的滤波器后跟列/行的连续卷积。输入图像可以分为4个部分：近似细节、水平细节、垂直细节和对角线细节，其中每个部分的大小与输入图像相比为一半。同样，相同的迭代应用于剩余的近似。代替基于RLE的图像差分操作的并行处理，仍然存在用于检查印刷电路板（PCB）的象限。使用小波变换的这种技术可以被视为图像到图像的变换。

3 研究方法

3.1 传统算法的缺点

基本的自动化缺陷检测开始于裸机或安装PCB上的形态操作。在PCB上执行的这类操作很少有以下几种：

1侵蚀：从边界减少像素数。像素数目的去除取决于结构元素的大小。侵蚀具有删除尖锐边缘的作用。边缘上的尖峰被去除，使得轨道看起来更加优越，因此印刷电路板中缺陷的检测变得容易。

2扩展：它将像素添加到图像的边界。添加的像素数取决于结构元素的大小和形状。扩张具有填充尖峰边缘之间的山谷的作用。在拐角处以及轨道之间的尖锐边缘被填充，使得轨道中的间隙或咬合被去除。

3开口：通常使图像的轮廓平滑，分解窄桥，消除薄的突起。打开操作连接已经发生灼伤或不正确瘙痒等缺陷的轨迹。

4关闭：这种操作通常会使狭窄的断裂和小洞融合。它是分离或去除不需要的路径的操作。轨道彼此分离，它有助于检测那些轨道不存在的缺陷，可能导致短路。

5边界提取：根据所使用的结构元素的大小，用于提取给定图像的边界。使用这个操作可以了解轨道的边界和电路相对于轨道的大小。

如上所述，使用形态学运算的缺陷检测的基本过程只能用于检测轨迹中的缺陷。所以在一个基本的水平上，它是成功的，但是一旦安装了PCB，并且检测到缺陷，那么它就失败了。

到目前为止使用的最佳方法是用XOR运算符的图像减法运算（如图3）。该过程考虑图像的逐像素值，并将标准图像与测试图像进行比较，以找出缺点。当要检测到轨道中的缺陷时，该算法运行得很快。这个过程很快，因为它只有两种类型或级别的像素值进行比较，一种用于轨道，另一种用于背景。如果出现错误，则差异操作会检测到该缺陷。一旦我们考虑安装，相同的过程需要很多时间来执行PCB。这是因为现在有很多像素值要与之进行比较，即使它提供了正确的输出，但是处理时间非常长。大概需要20分钟后模拟输出，这是一段相当长的时间。

图 3使用XOR运算符减法

考虑到时间对检查系统的性能至关重要，处理成本取决于输入图像的大小。当我们仅考虑曲目时，图像的大小很小。但是，一旦我们考虑安装的PCB，尺寸可能会在400x400像素的范围内变化。因此，Haar小波变换已被多次提出以减小图像的大小。一旦图像的尺寸减小，就可以执行基本的图像减法操作。粗级处理仅适用于缺陷检测过程。然而，原始测试图像上应突出显示缺陷定位，以获得更好的视觉感知。由于这些结果，所提出的算法可以检测出几种类型的电路印刷缺陷，例如断路，短路，针孔，错误尺寸的孔，开路，导体太靠近，欠蚀刻，伪铜，鼠咬，过量缺少导体，缺少孔，杂散和过蚀刻。该系统大大缩短了处理时间。给图像输出一次小波变换约需3-4秒。但这个算法也有其缺点。小波变换压缩图像，使得图像的某些重要细节被忽略，这可能导致输出差异，因为在压缩中错过的特征可能导致减法后的缺陷，这在实际中可能不是实际的缺陷。

阈值化是图像分割的重要技术，它尝试根据图像对象中灰度级别或纹理的分布，从其背景中识别和提取目标。大多数阈值技术基于灰度级的一维直方图和图像的二维共现矩阵的统计。通过参数或非参数方法来定位阈值。在参数化方法中，对象类的灰度分布导致找到阈值。例如，在Wang和Haralick的研究中，图像的像素首先被分类为边缘非边缘像素。根据他们当地的社区，边缘像素被分类为相对较暗或相对明亮。接下来，对于那些暗的边缘像素获得一个直方图，而对于那些明亮的那些边缘像素则获得另一个直方图。选择这两个直方图的最高峰作为阈值。时刻保留阈值是基于阈值图像与原始图像具有相同时刻的条件来分割图像的参数方法。在非参数方法中，根据一些标准以最佳方式获得阈值。例如，Otsu的方法通过最大化类间差异与穷举搜索来选择最优阈值。大津方法使用穷举搜索来评估最大化班级差异的标准。随着图像数量的增加，Otsu方法在多级阈值选择方面需要花费太多时间才能实践。为了有效地确定图像的1D阈值，提出了Otsu方法的改进的类间方差。所提出的修正类间差异的递归形式将大大减少对概率密度函数的第零阶矩和一阶矩的求和的计算。它被设计为替代1D多级阈值处理中修正的类间方差的计算。。

使用阈值和使用otsu阈值更具体的上述算法可以区分组件及其缺陷，但是如果PCB上存在各种组件而导致的灰度级差异较大，则在减法运算之后许多工件被添加到图像会产生缺陷。

下一个算法建议基于机器学习训练系统，并使用数学模型来检测缺陷。高斯函数用于评估系统，然后使用减法运算来显示缺陷。在这种方法中，使用相机的特定对准来捕获图像，然后使用平均值，标准方差和概率密度函数，估计像素值。虽然上述算法为大量的数据集和不同类型的错误训练系统，但仍然耗时和复杂。数学公式本身使得系统复杂化，并且对于所有的PCB而言都不能被推广。还要进行背景学习与参数估计，在整个复杂过程结束时执行减法运算。

3.2 最优方法

为了克服所有以前的算法的缺点，提出了一种更好更快的过程，提供定量和定性的结果。该过程开始于使用高分辨率相机拍摄PCB的图像。拍摄图像时，必须小心检查PCB的位置以及相机。然后存储捕获的图像以进一步处理。拍摄的图像采用RGB（红绿蓝）格式。该过程的下一步涉及将彩色图像转换为灰度图像。对于彩色图像，有不同类型的锥体。有些对红灯敏感，有的是绿光，有些则是蓝光。通过发射这三种基本颜色（红色，绿色和蓝色）的可控组合，从而随意刺激三种类型的锥体，一种能够产生几乎任何可感知的颜色。这些彩色图像以RGB格式存储。然而，在灰度图像中，不能区分多少不同的颜色被发射，它在每个通道中发射相同的量。可以区分的是每个像素的发射光总量;小的光给黑暗的像素，很多的光被认为是明亮的像素。当将RGB图像转换为灰度级时，将拍摄每个像素

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[139979]，资料为PDF文档或Word文档，PDF文档可免费转换为Word