英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

一种通过颜色、身高和步态特征来识别特定的人的跟随机器人

K. Koide , J. Miura

摘要：

本文描述了一种使用图像和范围数据的移动服务机器人识别人的方法。人员标识是移动服务机器人为这些服务定位目标人物的必要功能。在各种感官特征中，基于图像的外观特征经常被用于人员识别。然而，它们在较差的照明环境（例如强背光）中不是有效的。因此，除了外观特征更鲁棒的识别，我们使用两个与照明无关的特征，高度和步态。为此，我们开发了一种基于累积范围数据中的支撑腿位置的最大似然估计来获取步态特征（步长和速度）的新方法，我们结合这些特征，并使用在线提升方法来创建特定的人的分类器。它让机器人即使在较差的照明环境中也能够强大地识别出特定的人。我们测试了我们的多特征的人员识别方法，结合基于范围数据的人员跟踪，用一个具体的跟随人员实验证明了这种方法的有效性。

关键词：多特征人员识别 步态特征 移动服务机器人

1.简介

对能够照顾和帮助人的服务机器人的需求不断增长。这样的机器人被期望提供像导向，守卫和老年护理等服务，跟随人是个人服务机器人的必要功能，以便向特定人提供这样的服务。图1展示了一个跟随示例。为了跟随人，机器人必须能够连续地识别人，它的识别功能必须是鲁棒的并且在那些人们日常生活中经常经过的室内和室外环境中都可用。

一种方式是通过跟踪识别，即随时间跟踪人并基于运动连续性识别他/她，这种跟随人的功能已在许多出版作品中得到广泛研究。 特别是对于移动机器人，激光测距仪（LRF）得益于它们的可靠性和宽视场[1-3]通常用于人员检测和跟踪， 并基于他们的位置来完成从范围数据中检测和跟踪人的工作。然而，如果被跟踪的人被其他人挡住了几秒钟，则机器人可能失去对目标人的跟踪或错误地跟踪另一个人。 因此，有必要仅根据对于一帧或短时间获得的感觉特征来识别特定的人。

基于图像的跟踪方法（例如，[4,5]）具有可以在跟踪的同时获得用于识别的各种信息的优点。 可能的信息类型包括衣服的颜色[6]，身高[7]，脸[8]，步态[9,10]和骨骼信息[11]。

许多外观特征被用于基于图像的识别，例如HSV，Lab和XYZ色彩空间直方图[12,13]，Haar样[14]，HOG [15]，LBP [15]和SIFT [16] 等特征。然而，这些特征不适用于较差的照明环境，例如强背光或黑暗这种不能准确获得颜色和边缘特征的环境。因此，需要组合其他特征，包括来自其他传感器的信息，为了更加鲁棒的识别。

人员的再次识别[17-21]在计算机视觉领域已经得到广泛的研究了。在这些作品中，多个不重叠的相机被放置在环境中，通过相机来跟踪和识别人以用于监视。最近的人员再识别方法使用新的识别程序，如自动判别视频片段选择[19]。这些方法显着提高了观察噪声和照相机内照明变化的识别性能。然而，由于以下两个原因，难以将这些方法直接应用于移动机器人。首先，随着机器人移动，背景变化经常变得非常复杂。这使得难以为每个人获得准确的前景掩模并消除背景的影响。第二，大多数人员重识别方法依赖于外观特征。在移动机器人的情况下，由于照相机被放置在比监视系统低的高度，所以光或太阳容易进入视线（例如参见图2），并且移动机器人可能面对外观特征明显退化的极端严重的照明环境。

图 1自动跟随机器人

使用步态分析的人员识别最近变得流行起来[9,10,22]。这些作品从行走的人的轮廓图像中获取和使用频率成分以用于识别。由于它们也采取静态背景，这些方法不能直接应用于移动机器人。很少有人提出使用范围数据的步态分析[23-25]。 Cifuentes等人从移动机器人测量步态特征，例如腿部距离和腿部取向，以实现平稳的人机交互。然而，机器人和人之间的相对位置非常有限，以避免腿被对立部位腿阻塞。 Nakamura [24]和Song[25]把几个LRFs放在地面上，并从这些数据中提取步态特征。由于移动机器人具有单个视点，腿部常常被另一个腿部阻塞，测量的步态可能由于这种阻塞而退化。

高度特征用于校准凸轮和固定摄像机[7]。由于人的身高是固定并且具体的，因此它适合于人的识别。然而，以移动机器人为例，难以使用仅一个相机测量人的高度，因为到人的距离可能变化很大。为了使用移动机器人的高度特征，需要提供距离的另一传感器。

用于识别的装置，诸如射频识别器（RFID）标签[26,27]或惯性测量单元（IMU）[28]有时被机器人用来定位具有装置的目标人员。虽然使用这样的设备使得目标定位更容易，但是它要求用户在每次需要服务时佩戴设备，并且这对于用户可能是不方便的。

在本文中，我们提出一种使用LRFs和相机可靠地识别特定人的方法。为了确保识别中的特征的冗余，我们引入两个独立于照明的特征，高度和步态，以及外观特征。我们结合这些功能，即使在严峻的照明环境中也能实现强大的人员识别。我们通过实验验证这两个特征大大增加了识别的可靠性。本文的贡献有三个方面。首先，我们提供一种人体识别方法，其采用步态和高度特征以及颜色特征以用于可靠的识别。其次，我们提出一种使用LRF的步态估计方法。该方法扩展了Nakamura的方法[24]，使得腿之间的遮挡在最大似然估计中被明确考虑。第三，我们提出了一种新的联合特征方法，用于将多个特征与不同的观察周期组合。

图3介绍了一种所提出的系统的概述。机器人配备有设置在躯干和腿部高度的两层激光测距仪（Hokuyo UTM-30LX）和网络摄像机，并且机器人的最大速度约为1.2（m / s）。该方法首先使用来自LRF的范围数据来跟踪人，然后识别特定的人。当从范围数据获取步态特征时，从图像获取颜色特征。高度特征通过组合图像和范围数据获得。所提出的方法组合这些特征以便在任何环境条件下识别该人。

本文的其余部分安排如下。第2节简要说明使用LRF数据的人员检测和跟踪方法。第3节描述了使用多个特征的人员识别框架的概述。第4节描述了使用颜色和高度特征的人员识别。第5节介绍步态提取及其在人员识别中的应用。第6节描述了对拟议人员识别方法的评估。第7节描述了一个跟随人的策略和实验结果。第8节总结本文，并讨论未来的工作。

a.户外 b.室内

图2 移动机器人可能面临的极端严重的照明环境

图 3 人员跟踪和识别系统。

（a）.集中 （b）.分裂

图4.躯干和腿检测程序

2.人员跟踪

2.1 基于LRF的人员跟踪

多层LRF有时用于人的检测[29]。通常这些传感器放置在躯干和腿的高度，然后两个检测结果组合。他们假设一个人的躯干总是被检测到的，如果一个或两个腿被发现在躯干下面，躯干被判断为真正的姿势。通过结合多层LRF的检测结果，我们可以减少假阳性的数量。

躯干和腿通常通过在范围数据中找到间隙来检测为与背景分离的段[1,3]。然而，在人口稠密的环境中，躯干和腿并不总是与背景或另一躯干/腿分开。它们也经常被另一个物体部分遮挡。我们的方法首先检测用于集群的范围数据的间隙（参见图4（a）），然后使用两个阈值1w和1d找到范围数据中合并的躯干/腿的断点（见图4（b））。对于集群中的点，如果两点与点分开1w的两点距离该点比机器人距离1d更近，则该点被视为断点，并且该点在该点处被分割。然后我们对所有集群应用大小过滤以检测躯干/腿候选。图5是针对躯干的检测候选的示例。

将检测到的候选分为躯干/腿，其他对象则使用Arras方法[2]和Zainudin方法[3]进行分类。代表集群模型的特征被提取出来，然后通过机器学习方法，如SVM [30]和Adaboost [31]进行分类。

我们采取了基于具有恒定速度模型和最近邻（NN）数据关联的卡尔曼滤波器来获取被测者的时间数据关联的简单过程。这在大多数跟踪案例中工作得很好。然而，如果一个人被另一个人遮挡了几秒钟，由于不正确的数据关联，它经常不能跟踪该人。因此，我们在数据关联中考虑人的遮挡如下。

我们通过一个位于由卡尔曼滤波器预测的位置处的圆来对每个人建模，并且测试它是否被遮挡。我们首先预测从圆获得的范围数据，然后将圆的预测范围数据与实际观察范围数据进行比较。如果实际范围数据的一半以上比预测范围数据更接近机器人，则认为该人被遮挡。被阻塞的人不与检测到的人相关联以防止不正确的数据关联。

2.2 检测图像上的人物区域

图像上的人物区域被用来获取人员识别所需的特征。我们首先从通过基于LRF的跟踪获得的目标人物的位置来计算感兴趣区域（ROI），然后使用级联HOG分类器从ROI检测人的上半身[32]。 为了计算ROI，我们将人模型化为位于该位置的柱面，并将柱面投影到图像中（参见图6）。检测到的区域用于提取人物特征.

1. 人员识别框架

在本节中，我们简要描述我们的人员识别框架和联合特征方法。为了识别人，我们采用颜色，高度和步态特征，这将在第4节和第5节详细解释。这些特征被合并成一个联合特征，并通过在线增强学习[33]。

3.1 使用在线助推的人物识别

在线提升是在线学习方法之一，它构建了一个弱分类器的集合，并将其用作强分类器。这种方法由于其适应性和实时性能而被用于人们跟踪[14,34]。在我们的例子中，每个弱分类器只使用三个特征中的一个。由于在线提升选择最好的弱分类器，所以只有有效特征被用于人识别。例如，当他们处于严重的照明环境中时，颜色特征不是有效的，并且在分类器中仅使用高度和步态特征。结果，即使在严重的照明环境中（参见第6节中的实验），我们也可以获得可靠的人物分类器。

当目标人由基于LRF的跟踪器跟踪时，人类分类器用观察到的特征更新。当基于LRF的跟踪器丢失目标时，人类分类器的更新停止，并且机器人使用最新的人物分类器寻找目标人。如果发现了被分类器判断为目标人物的人，则机器人将该人设置为要跟踪的目标，并且恢复跟踪。

图 5.检测到躯干候选人。每个绿色圆圈表示躯干候选人的位置

图6.检测人物区域。绿色圆圈表示通过基于LRF的跟踪获得的人员位置。红色透明区域是从人物位置计算的ROI。绿色透明区域是检测到的人物区域。

3.2 在线升压的联合功能

所提出的特征的观察周期大不相同。为了将这些特征应用于在线提升，它们必须被同步并且合并成单个联合特征。基本上有两种同步特征的方法：将特征同步到具有最短或最长周期的特征。

如果我们采用第一种方法，而具有最短周期的特征是变化的，则具有长周期的特征保持恒定或内插。使用具有长周期的弱分类器通过一次观察更新，直到获得新的观察结果。它可能导致过度拟合。因此，我们采取第二种方法。

对于第二种方法的传统方法，每次获得具有最长周期的特征时，最新的特征值被简单地连接以构造特征向量[35]。然而，在我们的系统中，所提出的特征的观察周期彼此非常不同;那些颜色和高度特征为约30ms长，而步态特征的长度为约500ms长。通过仅使用最新的特征值，大量的具有短周期的观测被丢弃（参见图7（a）），并且识别结果可能劣化。因此，我们还利用在具有最长周期的特征的间隔期间获得的具有较短周期的特征的值，通过计算它们的统计并且将它们与具有最长周期的特征级联（参见图7（b））。

在本文中，计算两个特征，高度和步态的统计。由于人的身高是固定的，

高度特征的分布可以预期是单峰的。另一方面，如果我们观察一个人一段时间，由于照明变化，颜色特征的分布可能变为多模式的。然而，在我们的情况下，用于总结特征的持续时间为约0.5 [s]（即，步态特征的观察周期）。我们假设持续时间足够小以将颜色特征的分布建模为单峰的。因此，我们使用平均值和标准偏差来概括特征。

4.2 高度特征

人的高度可以用作用于人识别的另一特征。即使存在具有相似高度的多个人，该高度对于减少目标人物的候选人的数量也是有用的。为了计算人的高度，我们首先确定图像中的最高位置（即，头部区域的sinciput），然后使用相机几何形状估计高度。

预先从头发图像计算头发区域的饱和度强度直方图，然后将高斯混合模型（GMM）拟合到直方图。收集头发图像从各种环境中的大约五十人，并且头发图像的总数是大约二百。由于我们收集来自亚洲人的头发图像，大多数像素将是具有零饱和度（黑色或灰色像素）的像素。因此，我们将单独的单变量GMM拟合为零饱和像素的强度分布。将所得的GMM用作毛发模型（参见图9和图10）。目前，头发颜色模型专门针对黑色或灰色头发的人。然而，该模型可以通过添加他们的头发图像扩展为其他人。

1. 传统联合特征方法。最新的功能简单连接 （b）拟议的联合特征方法。计算具有短周

期的特征的统计，然后与具有最长周期的

特征组合

图 7.比较联合特征方法

图8.通过在线提升选择的颜色直方图提取的区域的示例。蓝色矩形是用于色相直方图提取的区域，绿色矩形是用于饱和度直方图提取的区域。 （对于该图例中对颜色的引用的解释，读者参考本文的网络版本。）

图9.头发颜色模型。绿色圆圈表示高斯分布。高值区域中的高斯对应于由光的直接反射引起的亮像素。

图10.

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[137717]，资料为PDF文档或Word文档，PDF文档可免费转换为Word