英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

---

动态手势识别

Aditya Ramamoorthya, Namrata Vaswania,

Santanu Chaudhurya;lowast;, Subhashis Banerjeeb

摘要：本文研究的是动态手势识别的问题。我们所说的手势是不同手的姿势的序列。在这些手势中，手可以进行运动和离散的变化。然而，手的连续变化是不允许的。我们已经开发了一个能可靠识别的识别系统来识别这些不同的手势。这个系统也有能力自动检测手势序列的开始和结束。识别策略是结合了静态形状的识别（使用轮廓进行判别分析），卡尔曼滤波基于手势跟踪和隐马尔可夫模型的时间研究计划。该系统对于噪声强大的背景，可以采用肤色和静态形状识别进行跟踪，是一个实时的标准硬件开发系统。

关键词：手势 隐马尔科夫模型 轮廓追踪 实时系统

1 引言

手势识别在人机交互的发展中非常重要。本文，我们将主要讨论动态手势识别，我们曾考虑单手的不同手的形状。一个给定的手的形状可以进行运动和离散的变化。然而，连续的变形是不允许的，这些手势，可以通过手的形状和运动轨迹来区分。我们开发了一个实时的识别系统，可以可靠的识别这些手势，该系统还有自动检测手势序列开始和结束的能力。

Pavlovic [1]等人广泛评论了现有的手势识别技术。大量的技术已经用于建立手的模型。Rehg and Kanade[2]设计了一种“Digit Eyes”的系统对手进行3D建模。利用手的图像来建立外观模型。在参考文献[3]中使用了手的2D模型。Davis and Shah [4]提出了一种在指尖和手掌进行2D建模的方法。动态手势识别使用跟踪框架进行处理。Blake [5]等人已经开发说卡尔曼滤波对轮廓进行追踪。Michael Isard[6]已经建立跟踪随机框架在视觉上使用贝叶斯随机抽样的算法的曲线（基于传播跟踪的条件密度）应用于人手跟踪中。Bobick and Wilson [7]已经开发出一种为表示和识别基于状态的手势，可以在测量和空间配置中定义手势序列。利用技术来计算原型轨迹，他们已经开发出一些方法能从大量的手势数据中识别这些状态。Starner and Pentland [8]已经研究了基于手势识别的人机交互。在参考文献[10]中提到了基于归纳学习的手势识别,在[11]中基于HMM算法的手势识别被提出。HuYoon[12]等人提出了一种根据特征的位置，角度，速度的识别方法。

在这项工作中，我们提出一种基于HMM的手势识别，同时使用时间和形状体系进行识别，不同于其他方案，我的系统背景稳定，不需要特殊的的手套。HMM模型的手势识别是并不新颖，但是利用组合形状和时空分布特征是这项工作的创新点，主要是使用手的形状和运动模式。MacCormick and Blakersquo;s [13]利用等高线来识别手的形状。我们用卡尔曼滤波进行跟踪，为HMM识别获得运动轨迹。在实时系统中检测手的变化，这个在参考文献[14]中提到。

本文其余部分结构如下：在第2节，我们目前识别方案；第3节中。讨论现在的跟踪框架。在第4节和第5节中，具体描述识别细节。第6节，我们将这个应用于移动机器人；下一节则是我们识别系统的实验结果和总结，并在最后一节确定实验的进一步工作。

2 手势识别方案概述

在本文中，我们考虑单手动态手势。手势是一种序列，每个序列的特征在于手的不同运动形状。我们的手势识别系统是基于手势的形状和空间运动。

识别的过程包括手势跟踪。手势跟踪被认为是基于轮廓的判别方法，该追踪器检测到形状的离散变化。当手势形状变化时，初始化跟踪器，重新调用识别新的形状。追踪器根据固定时间间隔输出编码的运动规律。方法是基于HMM来识别运动信息。我们的识别算法步骤如下：

1 利用boot-strapping检测手

2检测起始的手形状并初始化跟踪器和手势模板。

3当手在视野中

A 跟踪手和输出编码的运动信息直到检测到形状变化

B 初始化跟踪器和形状模板来识别新的形状

4 使用HMM来发现提供最大发生概率的手势序列

下一节，我们详细描述了跟踪器。

3 跟踪框架

在我们手势表示方案中，手一直被视为一个光滑的二维曲线。Blake 等人已经发明一种简化的跟踪器。追踪器在这种情况下，可以用卡尔曼滤波器平滑运动图像：

曲线描述的是B-Splines，优点是可以进行本地控制，连续性和紧凑的表示形式，P(t)，位置矢量沿B-Splines曲线的控制数及 k 阶点 n 1给出

Bi是位置矢量，Ni;k基于 k 是归一化的 B 样条基函数，给出了DeBoor 递推公式：

Xi是一个满足节点矢量的元素，沿着曲线p(t)变化。函数P（t）是K次多项式，整个曲线都是连续的。

运动的手可以近似假设为平面的，在Oexed的假设下并不显著。由于连续形状的变化已不被准许下审议，手势和固定的手的形状，手势的手运动可以建模为躯体运动。一个好的近似曲线，因为它随时间的变化可以是通过指定Q的线性矢量值函数获得B-Splines 的坐标（X，Y）。Q参数指定（欧几里德）的（X，Y）在条款中的形状，因为旋转手的假设可以忽略不计，Q矢量组成的X和Y是一个共同的尺度参数，之间的转变由下式表示

矩阵M和W被定义为形状模板(X;P Y P)，我们的手，假设为一个平面的形状，只允许X和Y平移和缩放，可能需要三个自由度的可能形状。Q矢量是表述三维线性子空间的Q向量，这个子空间的基础是

在这种情况下的矩阵 M 和 W 转换 B-Splines控制 (X，Y) 点，从三矢维Q矢量 可以定义的模板，如下:

3.1 卡尔曼滤波追踪

要在图像具体说明跟踪的控制点，可以用欧几里德的Q矩阵，均匀的离散时间假定的运动模型[5]，X状态的离散时间模型描述为

这里，Q表示Q矩阵估计。对于匀速直线运动：

卡尔曼滤波器的参数是：

1状态更新矩阵A

2观察向量Qn

3测量噪音Wn被模拟为一个均值为0的不相关的高斯噪声。

我们讨论我们下一节中的测量模型

3.2计算模型：贪心算法

给出了估计的轮廓r(s; t)，测量过程沿着n(s,t)到预测的曲线，以下问题是在这方面考虑的：

曲线拟合：因为已经用4阶B-Splines表示曲线，曲线的每个范围是只有4个控制点，因此，测量包括 该控制点沿其法线的方向。

色不变形：追踪算法是我国对计量光的强度变化的，其主要基于颜色搜索。为避免错误匹配，颜色坐标经受色差不变性变换随后规范化如下：

变换后，将讨论下面的拟合算法。

3.3曲线拟合算法

曲线拟合算法用于boot-strapping手势识别器在测量过程中进行跟踪。这种算法可以粗略估计人体皮肤的颜色。目前此种估计系统已经获得大量的训练数据。

开始时，用户需显示在一个小的矩形的屏幕中心。若要开始执行，用户需要将他的手放在矩形的中心，一旦开始，系统可以识别到手的存在，检测到手可以按照以下方式检测到。系统对该矩形范围类的像素树木的平均颜色计算方差。这个计数一旦超过阈值，则由下面的算法表示：

1 计算中心附近一个小窗口（10*10）的平均颜色和像素值的方差

2 制定控制点

检测控制点是否在其区域内外，如果在计算方差范围内，把它归为一个手点，其他作为一个外部点。

如果控制点在手中，然后向外法线方向搜索直到另一个不属于像素集的点。

如果控制点在手外，然后像正常方向搜素直到找到属于像素轮廓的手。

3.4 跟踪器的稳定性

跟踪器原始形式是相当不稳定的，错误的测量会使轮廓发生变形，它就会失去跟踪，除了欧几里德的模型外，介绍以下三个模型，提高跟踪的稳定性。

刚体假设：控制斜坡稳定性

由于非均匀照明。某些控制点匹配不正确。这回导致轮廓变形，要纠正这一点，我们使用的手可以当做一个刚体，切线的斜率在控制点的曲线仍是不变的。

Pk点的斜率关于P(k-1)是

如果任一斜率的值是在30度以内，则该控制点正确，即

由于手部动作不熟练，用卡尔曼滤波状态观察每一帧时，系统是不稳定的。因此，预测是交替进行的。

延迟的预测是使手先表示稳定，所以前30帧不用于预测。

图一是提出假设跟踪的一个例子，轮廓变形在所示的第二框架，在手势序列的第7帧。图2跟踪手的准确率相对提高。

3.5 形状变化检测

通过轮廓点的质心来计算方差，不同形状，方差也不同。我们在计算这些方差的时候，会有一个参考值做比较，当形状改变时，方差值的比值和观察到的轮廓预期为上述的计算值。

当检测到形状的变化

新的形状使用静态形状识别确认。

卡尔曼滤波器重新初始化

卡尔曼滤波器之间的变化矩阵和控制点重新使用新的模板。

新模板的斜率再次计算并存储

4 手势识别

在我们的工作中，我们已经考虑用手的形状和运动性质来表征。这两个分量可以有助于手势的识别。

1 静态手势识别

2 运动序列的手势识别

4.1 静态轮廓判别方法和跟踪器初始化

对于手势的识别，在参考文献[13]总提出用定位概率识别轮廓，该方法适用于具有复杂轮廓的物体，如人手。它对解决强大的照明问题和复杂的背景效果很好。手的形状是仿照制定尺寸和统一比例的配置，因为测量方法只有一维的需要图像处理（沿着手搜索手的颜色的像素）。识别处理是有评估给定的相似性来完成形状轮廓的识别。

4.1.1 预先模型

手型可以通过轮廓来描述，可以在B-Splines中建模[15].给定一个手的图像，我们首先从可能的空间采样对手型进行配置，并采用以下的测定方法：

1 铸线法（测量线）到图像轮廓周围的点。

2 应用一维特征检测器。在一般情况下，我们可以给定更多的法线特点，但只有一个功能，每次检测，我们可以发现是否存在手的第一像素。

其中第一件事，为每个手型构造空间，步骤如下：

1 通过鼠标对应每个静止的轮廓形状，指定控制点的边界，用B-Spline曲线去符合。初始模板是X，Y方向。

2我们也将放大和缩小的初始模板添加到里面。

3旋转30度的模板也加入到空间里。

4.1.2 识别

识别过程包括以下步骤

1 对于识别的信手势，用户必须把手放在一个120*70窗口的中心。根据10*10个像素的小区域计算手的颜色的方差和均值。

2 上述测量过程，施加每个类的手的形状到现有的轮廓。测量方法涉及用手的颜色沿垂直于轮廓在每一个控制点进行搜索。

3 没有找到匹配的控制点的记为一个轮廓。

4 失真的值将属于新的手型轮廓。通过上述的过程，有大量的轮廓对应于初始模板，平移和缩放也有失真值。

5 对于初始化跟踪，我们发现公认的手型中有最接近的轮廓匹配。因此可以用于跟踪初始化。

4.2 基于隐马尔科夫模型的识别

由于手势是动态的过程，我们需要利用时间特征识别手势。识别方案是只有一个手势的属性变化。

跟踪器提供手的时间特性，输出用于进行运动性质的分类。分类信息可以判别轮廓的分类。这是描述都可以用于HMM的输入。

通过HMM手势识别的主要步骤是：

1 提取手势特征

2 将训练的HMM模型对于每个手势器。

3 对于一个未知的手势，如在途中所描绘的观察序列观察发生概率最大的模型，如图所示。

对于每个手势都有一个HMM，每个HMM进行训练时，通过训练集获得符号序列的每个手势。

4.3 特征提取

卡尔曼滤波的Q矩阵具有对应人手的X变换，Y变换和缩放三个变换要素。如果将手移动到（比如X方向）则只有一个方向的Q是显著的，所有其他的窦唯0.因此，在每一个时刻，我们可以产生Q矩阵的运动信息。时间t=0时，手势开始产生差异。因此，我们有参数可对应手的开始的位置，正的对应 “ 1”，负的对应于“-1”，接近0的值取值为0.这些时间描述在第6帧产生。

例如考虑一种手势，手先移动到右边再回到左边，这个手势有两个部分，一是移动到右，和其他当向左移动超出了原有的位置。在第一部分有正X位移，手移到右边，Q 矩阵是正的，其他都为0.当手从原始位置离开时，有负位移，产生符号是-1.

手势分类为每一个识别的手势提供了形状类代码。这些与运动相结合的描述，提供了完整的特征描述图像序列。

5 实时实现

在即时实现方式中，手势识别任务分为两个线程：抓取和跟踪

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[152849]，资料为PDF文档或Word文档，PDF文档可免费转换为Word