英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

---

小型多相机在蛇形机器人、广视角显示的发展摘要

摘要

摘要-“IRS Souryu”是一种用于狭窄空间犯罪调查的蛇形机器人。我们的目标是为“IRS Souryu”开发一种多相机系统和通过多相机系统寻找受害人。我们开发的多相机系统的优点是：1.相机的数量可以通过增加相机模组来增加，2.多相机模组小而且有4中小尺寸的传感器相机，3.电缆的长度容易增加因为它用的是以太网。本文描述了用多相机系统获取和用广视角显示信息的概念。我们解释“IRS Souryu”多相机系统的组成和它的设备。我们做了一个实验关于使用“IRS Souryu”的32个相机进行寻找受害人。一个操作人员能够在没有额外移动机器人的条件下找到受害人。然后，操作人员能够找到下一个可移动的开放空间。我们解释实验中的细节。

关键词：救援机器人，蛇形机器人，多相机系统，广视角图像，FPGA

第一章 介绍

各种救援机器人已经被研究用于在灾难发生的地方寻找受害人。蛇形机器人“IRS Souryu”是一种救援机器人，在狭窄的空间、倒塌的房子、倒塌的高架桥、断裂的火车等等寻找受害人。这已经被日本科技组织，国际救援系统组织，神户大学，东北大学和电通信大学开发。

图1.装配32个相机的“IRS Souryu”

“IRS Souryu”分成盒子形状的三个互相连接的部分。每个部分有两个履带，前面的部分有两个相机在机器人上面。迄今为止，操作人员在远处已经能够通过两个在机器人上面的相机控制机器人观察图像。然而，对操作人员来说很难控制机器人和寻找受害人因为操作人员不能通过两个在上面的相机从狭窄的视野图像得到足够的信息。更高效的寻找将会通过广视角图像实现。我们必须构建相机系统来获得广视角信息，不能有盲点。作者目标是为“IRS Souryu”研发新的相机系统。

其中一个相机系统通过鱼眼或者全向照相机获得广视角图像。这个相机系统好像不适用于“IRS Souryu”。自从Soiyu进入破碎的砖块、碰撞破碎的砖块的狭窄的空间可能破坏鱼眼相机或者全向相机。另一个相机系统用多个相机的图像合成的图像。我们采用它显示广视角图像。自从Soiyu有小的部分，它必须装配小尺寸的仪器。在本研究中，我们开发了小尺寸多相机系统，并安装在Soiyu上面。本研究的贡献在于缩小了相机设备并安装在“IRS Souryu”上面。

在本文中，我们将描述在“IRS Souryu”中一种得到广视角和细节图像的方法。我们开发多相机系统和它在机器人上的实现已经在科学三、四上分别解释过。我们审查我们的相机系统在“IRS Souryu”上是否能有效寻找受害人。实验和它的结果在科学五种解释。

第二章 研究目的

我们的调查对小型多相机的发展是客观的，用多相机系统展示广视角和图像的细节。在狭窄的空间，控制蛇形机器人和寻找受害人时，操作人员需要检查三个主要的相机图像信息，如下：（1）机器人机体和环境之间的干扰；（2）履带和地面，关节和环境的联系；（3）受害人周围环境的图像信息。

图2. “IRS Souryu”在狭窄空间的图像任务

图3.广视角图像44台相机在“IRS Souryu”的布局

（1）和（2）对控制机器人是必须的，（3）是对受害人寻找。检查（1）所需要的方法和（2）不同。为了检查（1），广视角图像需要知道机器人机体和环境之间的相关距离。另一方面，接近机器人环境的细节图像需要检查（2）。为了得到机器人附近环境的细节图像，相机必须设置在有限的狭窄空间中。然后，这个案例需要小型相机设备。为了检查（3），周围环境的细节和广视角图像是必须的。为了满足这些需求，作者建议小型相机系统有44种小尺寸相机来显示这些可视信息。

图3显示了安装在“IRS Souryu”上的44个相机。为了检查（1），广视角图像由机器人表面38个相机和低的鸟眼视角组成，而不是鱼眼相机在高鸟眼的视点。具体来说，这38个相机由前后段四侧的4个相机组成，左侧、右侧上侧、下侧各有两个相机，每两个相机在低鸟视点。靠近机器人的环境图像通过低于鸟视点的相机观察。这些相机必须用柔性杆固定，因为相机的杆然要了机器人的运动。

为了检查（2），我们会在机器人段之间的关节装备6个相机。为了检查（3），细节和广视角图像由几乎所有相机接口电路板在狭窄空间的图像组成。

这些方法适合蛇形机器人在狭窄空间寻找。

第三章 多相机系统

3.1多相机系统的的特征

我们构建多相机系统满足以下需求，为了在Souryu上安装44个相机。

（a）多相机系统的缩编

（b）通过分散处理高效获取和传输图像

（c）节省连接Souryu和控制PC的电缆数量

（d）通过使用长电缆图4说明我们提出的多相机系统获得相机图像。这个系统包含一些多相机模组，有4中小尺寸CMOS的相机。通过连接这些小相机模组，我们能容易地增加相机数量。为了满足（a）和（b），局域网（100Mbps）被用来连接接口。系统中，减少电缆是很重要的，机器人拖着50米甚至更长的电缆。

3.2多相机模组的结构

图5说明我们开发的多相机模组。模组有4个小尺寸CMOS相机，SUZAKU-V板和相机接口电路板组成（图6）。尺寸是72*47*30mm。电缆的厚度、重量、灵活性对CMOS相机的布线很重要。考虑到这些需求，我们采用FPC电缆。捕捉相机图像的电路板是由FPGA组成在SUZAKU-V。

图4.多相机系统使用多相机模组

图5.多相机模组

图6.相机接线口电路板

图7.多相机模组电路逻辑方块图

图7说明多相机模组电路逻辑方块图。逻辑电路几乎（例如，图像捕捉核心，总线主机，DMA）由FPGA组成。使用FPGA能够缩小电路和平行高速加工。用HDL语言开发电路可以维护和重用硬件。

使用CPU直接把图像储存在DMA记忆，这些储存的图像使用MMAP的功能进行转换。为了实现DMA的功能，我们用FPGA构造了下面3种电路。

i 图像核心

ii DMA总线主机

iii I2C 交流

图像核心i捕捉来自CMOS相机的图像实时信号的数据。图8说明图像系统构造的核心。图像捕捉的核心包括图像捕捉状态机器，DMA总线主机ii和其他（图8）。图像捕捉状态机器从相机直接捕捉图像数据，DMA总线主机状态机器把这些图像数据传送到内存。每个模组有4个图像捕捉核心。I2C通信iii被用来设置相机参数。这个通信用主要目标和软件实验室构建。

图8. 捕捉核心方块图

此外，双缓冲和MMAP提高了图像捕捉的速度。使用双缓冲，系统通过以太网将捕捉的图像传输到内存器件捕捉下一个数据。系统使用MMAP把核心空间的图像复制到用户空间。

3.3评价多相机模组

我们评估多相机模组的表现。图9说明相机的数量和帧速率在以太网100Mbps的关系。在这个评价中，我们传输图像（尺寸：QVGA（320*240），Format：YUV422）从SUZAKU-V到个人电脑主机在以下状态下：SB Copy，SB MMAP,DB Copy，DB MMAP（SB：单缓冲，DB：双缓冲，Copy：没有MMAP,MMAP：使用MMAP）。DB MMAP状态下展现了最好的表现。框架速率是相机1为24.1，相机2为12.5，相机3为8.6，相机4为6.6。

当我们用1或者2相机，帧速率在双缓冲是单缓冲的两倍。我们确定很多图像用双倍捕捉。MMAP在双缓冲的效率比单缓冲高。有MMAP和没有MMAP的不同最大相差8帧。

图9. 相机数量和帧率的关系

第四章 小型相机的安装

4.1概念

防水和防尘功能是IRS Souiyu所需要的。此外，相机需要固定在机器人上面。然而，通过通过螺丝钉把小尺寸的CMOS相机固定在机器人上是很困难的，因为小尺寸相机没有螺丝孔。因此，我们做了相机盖用来固定把相机固定到机器人上，还有防水防尘功能。

图10说明相机覆盖。小尺寸CMOS相机设置在相机盖里面。通过螺丝固定相机覆盖到IRS Souiyu，机器人装备了小尺寸相机。牢固覆盖相机，能够防水防尘。这个方法使安装小尺寸相机变得简单。

当我们不能如我们希望那样固定相机在机器人上，我们使用特别的部分固定他们。

图10. 相机盖固定CMOS相机

4.2相机盖介绍

图10说明相机盖固定相机。相机覆盖是一个盒子形状因为它能完整地覆盖相机防水防尘，很容易用螺丝螺丝固定到机器人上。相机盖的尺寸是40*20*8mm。图11说明小尺寸CMOS相机的形状。相机的位置、俯仰角和偏航角可以用其形状固定，滚转角可以用其他2个凸台固定。相机盖里面的插座能容纳它们。

我们在透镜做了孔，用透明透镜覆盖它。通过电缆的空间用橡胶覆盖。相机盖由聚酯制成，坚固。

图11. 小尺寸CMOS相机

4.3 安装

图1说明IRS Souiyu装备了32个相机。作者安装32个相机在Souiyu上，如下：每4个相机分别安装在前面和后面。每6个相机分别安装在左右侧。每2个相机分别安装在低于鸟眼视点和每部分的后面。每4个相机分别安装在机器人的上方和下方。

当我们在图3的a，b，c中固定相机时，我们用铝做附件。具体的，我们在相机图3的a左侧和右侧做了附件，有45°旋转周围视角。

在计划中，图3的b部分的附件，设计了有15°的旋转周围视角。然而，执行这个计划太难。我们做了一个附件，有15°旋转周围只有俯仰角。

在计划中，图3的c部分的附件，用柔性材料做的。然而，我们不能找到好材料。那么，我们用铝固定这6个相机。

我们没有安装其他相机在图3的d和e部分。未来的工作，我们会安装12个现在还没有安装的相机。

第五章 实验

5.1 控制IRS Souiyu和寻找受害人

我们提出了一个实验，用装备32台相机的IRS Souiyu寻找受害人。操作人员能够找到受害人，在没有机器人额外移动的情况下。然后，操作人员能够找到下一个开放空间移动。

图12和13说明了IRS Souiyu的运动和32个相机图像分别的截图。机器人按顺序a、b、c、d移动，图12.屏幕拍32张图像（图13a）是当机器人到达图12a是捕捉的。图13b展示了32张相机图像的轮廓。图像从1到16和从19到24图13b，分别由左右侧的相机捕捉。图像11，12，17，18和7，8，13，14在图13，分别由前方和后方的相机捕捉。图像从25-28是上方侧边的相机捕捉。图像29-32由下方侧边相机捕捉，但这些黑色的图像是因为机器人的各部分的影子。

图12. 实验中IRS Souiyu的移动路线

图13. 32张相机图像截图（A）和路线（B）

实验中，机器人在平板的地面移动。为了控制机器人和找到受害人，操作人员看着由前方（11，12，17，18），后方（7，8，13，14），左侧（1-6），右侧（19-24）相机捕捉的图像。使用这些广视角图像，操作人员发现受害人的手在一些移动后（图13a图像6）。然后，操作人员控制机器人和通过前面相机确定手（图12）。确认后，操作人员寻找下一个开放空间和找到它（图12c），和控制机器人的方向（图12d）。

广视角图像从多相机系统获得。为了评估广视角相机系统，计算它的数字信息很有必要。然而，它的广视角不能准确计算，因为每个相机的中心点都不一样。我们用以下方法计算广视角：我们假设广视角相机的中心点在机器人的中心，定义球体作为目标投影屏幕。这32个图像被投影在球体。水平视角的左右相机大约152°在2m的半径内。前方和后方的相机大约68°在2m的半径内。

5.2 实验的结论

从上面的实验，我们确定广视角图像能够使才作人员找到受害人和下一个开放空间不用移动机器人。蛇形机器人在狭窄空间找到受害人或者找到开放空间在没有闲逛的情况下是很重要的。我们的相机系统能够增加找到受害人的效率。

两个多相机系统的优点如下：

·展现广视角和可视细节信息通过使用32张图像。

·高效的探索

然而，通过实验我们发现多相机系统的问题。

·低帧率（0.9fps）在32个相机

·错误显示32个相机的图像

在以前的问题中，操作人员识别受害人的运动，以高速度在狭窄空间移动机器人是很难的。在上面的实验，机器人的移动速度大约是15cm/sec。增加图像显示帧率是很有必要。通信量必须减少当操作人员想增加帧率时，因为当前系统的瓶颈是带宽以太网100Mbps。表1展现了相机数量和帧率的关系。我们确定减少相机的数量能够增加帧率。

表1. 相机数量和帧率的关系

相机数量	4	8	16	32
帧率	4.1 fps	4.0 fps	2.7 fps	0.9 fps

后面的问题，32个相机图像包括太多信息导致很难直觉地辨别环境。此外，很难在不同相机的图像信息之间辨别相关的信息。未来的工作，我们要开发一个方法，来向操作人员展示多相机图像。

第六章 结论和未来的研究

为了用蛇形机器人IRS Souiyu寻找受害人，我们开发了一个方法获得和展示32张相机同时展现广视角，帧率变得慢（0.9fps）。

lt;

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[239467]，资料为PDF文档或Word文档，PDF文档可免费转换为Word