An Application of Human Robot Interaction:

Development of a Ping-Pong Playing Robotic Arm

Kalpesh P. Modi Ferat Sahin Eli Saber

Electrical Engineering Department Electrical Engineering Department Electrical Engineering Department Rochester Institute of Technology Rochester Institute of Technology Rochester Institute of Technology

Rochester, NY, U.S.A. Rochester, NY, U.S.A. Rochester, NY, U.S.A. kpm5163@rit.edu feseee@rit.edu esseee@rit.edu

Abstract – This paper describes the design and development of a ping-pong robotic arm as an application of robotic vision. Displaced frame difference (DFD) is utilized to segment the ball motion from background motion. 3-D ball tracking using parametric calibration of single CCD camera is explained. This visual information is temporally updated and further employed to guide a robot arm to hit the ball at a specified location. The results signify the system development based on single camera tracking. System latency is measured as a function of the camera interface, processor architecture, and robot motion. Various hardware and software parameters that influence the real time system performance are also discussed.

Keywords: Real time machine vision, camera calibration, 3-D imaging, robot vision.

1 Introduction

Human-computer interaction aims at the scientific study of peoplersquo;s communication with computers and applications of associated technologies. Human-robot interaction is an applied area that comprehends behavioral aspects between human and a robot and includes study, design and development of systems for a measure of their joint performance. This performance can be evaluated through techniques which compare human and robot productivity in a team environment [10]. In this work, a ping-pong robot is designed and developed to study the mutual functioning of human and robot.

Vision is our most powerful sense and provides us with a detailed three dimensional knowledge of the environment and perceived changes. Similarly for machines, vision is a potential interface as it facilitates sensing of objects and tracking changes in the scene. This work demonstrates the use of computer vision for performance analysis of the joint human robot system.

1.1 Objective

For extraction of real time knowledge about the dynamically changing environment, visual sensors are included in the feedback loop [7]. Video sequences are acquired through a CCD camera interface to obtain scene information. Motion is detected through the temporal change in the brightness values (gray levels) in the image plane [15, 18]. Motion based image segmentation and object detection techniques are used to locate the ball in the image plane. 3-D image reconstruction is performed based on the geometry of the universal coordinates and frame transformations developed for perspective camera vision. Furthermore, a trajectory path symbolizing the velocity of ball in three dimensions is extrapolated. This motion data is used as feedback to guide the robotic arm to hit the ball at specified location. Figure 1 illustrates a pictorial representation of a camera based robot system developed.

feedback the ball

Figure 1. Robot navigation and control set up

Section 2 explains the system theory and the techniques for vision based system development are formulated in Section 3. Section 4 substantiates the use of camera based information as an effective means of feedback for navigating the robot arm.

2 System Theory

This section presents applications of vision in various ping pong playing robots.

2.1 Ping pong playing robot

The principal system components of the ping pong playing robot include a 3-D vision system that locates the ball, a trajectory analyzer that extrapolates the path of ball motion, an expert controller in form of a computational machine that computes the target point, and a robot that hits the ball in a desired approach.

2.1.1 Vision system

The ability to track objects in video sequences allows a robot to rely on vision-based navigation techniques and avoid using active sensors or sophisticated stereo imagers for distance measurement [2]. Information obtained from vision system is used to control the robotrsquo;s motion in real time. The purpose of vision in the system is to extract information about the ball in space (x y z, , ) at particular time ( )t . This spatial and temporal information is concurrently used to analyze the ball motion. Table 1 reviews vision components for ping pong systems that use stereovision to compute the ball location [4, 8, 13, 14, 17].

Table 1 Vision components for ping pong playing robot

Developer (s)	Vision element	Spatial resoln.	Time resoln.
Andersson, 1986 [14]	Four cameras	756 x 242	60 hertz
Hashimoto, Ozaki, Asano, Osuka, 1987[17]	Binocular camera with four sensors	2048 x 2048	100 hertz
Fassler, Zurich 1990 [13]	Two CCD cameras	422 x 579	50 hertz
Naghdy, Wyatt, Tran, 1993 [8]	Two cameras with frame grabber	1024 x 1024	asymp; 60 hertz
Miyazaki, Kusano, 2002[4]	Quick MAG III	640 x 416	60 hertz

Advances in the hardware industry and efficient image and video processing algorith

全文共22804字，剩余内容已隐藏，支付完成后下载完整资料

---

人机交互的应用: 乒乓球机器人手臂的研制

摘要：本文介绍了乒乓球机械臂作为机器人视觉应用的设计与开发。利用移位帧差 (DFD) 将球运动从背景运动中分割出来。阐述了单 CCD 摄像机参数化标定的三维球道跟踪方法。这种视觉信息被暂时更新, 并进一步用于引导机器人手臂在指定的位置击球。研究结果表明了基于单摄像机跟踪的系统开发。系统延迟是作为相机接口、处理器架构和机器人运动的函数来测量的。讨论了影响系统实时性能的各种硬件和软件参数。

关键词: 实时机器视觉, 摄像机校准, 三维成像, 机器人视觉。

1 介绍

人机交互的目的是对人们与计算机的通信和相关技术的应用进行科学研究。人与机器人的相互作用是一个研究人类与机器人之间行为方面的应用领域, 包括研究、设计和开发衡量其关节性能的系统。这种性能可以通过比较团队环境中的人和机器人生产力的技术来评估 [10]。在这项工作中, 设计并开发了一个乒乓球机器人, 以研究人类和机器人的相互作用。

视觉是我们最强大的感觉, 为我们提供了关于环境和感知变化的详细的三维知识。同样, 对于机器来说, 视觉是一个潜在的界面, 因为它便于感知物体和跟踪场景中的变化。本文展示了计算机视觉在联合人类机器人系统性能分析中的应用。

• 1. 目标

为了提取有关动态变化环境的实时知识, 视觉传感器包括在反馈回路中 [7]。通过 CCD 摄像机接口采集视频序列, 以获取场景信息。运动是通过图像平面上亮度值 (灰度) 的时间变化来检测的 [15, 18]。采用基于运动的图像分割和目标检测技术对图像平面中的球进行定位。基于为透视摄像机视觉开发的通用坐标和帧变换的几何形状进行三维图像重建。此外, 还外推了一个象征三维球速度的轨迹路径。此运动数据用作反馈, 以引导机器人手臂在指定位置击球。图1显示了开发的基于相机的机器人系统的图形表示。

反馈 球

图1.机器人导航和控制设置

第二部分阐述了系统理论和基于视觉的系统开发技术, 并在第3节中进行了阐述。第四部分证实了基于相机的信息作为机器人手臂导航的有效反馈手段的使用。

2 系统原理

本节介绍视觉在各种乒乓球机器人中的应用。

2.1 乒乓球机器人

乒乓球机器人的主要系统组件包括定位球的三维视觉系统, 一个推断球运动路径的轨迹分析仪, 一个计算目标点的计算目标点的计算机器形式的专家控制器,和一个机器人, 击中球在一个理想的方法。

2.1.1 视觉系统

通过跟踪视频序列中的对象, 机器人可以依赖基于视觉的导航技术, 避免使用有源传感器或复杂的立体成像仪进行距离测量 [2]。利用视觉系统获得的信息实时控制机器人的运动。系统中视觉的目的是在特定时间 (t)提取有关空间 (x y z) 中球的信息。此空间和时间信息同时用于分析球的运动。表1审查了使用立体视觉计算球位的乒乓球系统的视觉组件 [4、8、13、14、17]。

表1乒乓球机器人的视觉组件

Developer (s)	Vision element	Spatial resoln.	Time resoln.
Andersson, 1986 [14]	Four cameras	756 x 242	60 hertz
Hashimoto, Ozaki, Asano, Osuka, 1987[17]	Binocular camera with four sensors	2048 x 2048	100 hertz
Fassler, Zurich 1990 [13]	Two CCD cameras	422 x 579	50 hertz
Naghdy, Wyatt, Tran, 1993 [8]	Two cameras with frame grabber	1024 x 1024	asymp; 60 hertz
Miyazaki, Kusano, 2002[4]	Quick MAG III	640 x 416	60 hertz

硬件行业的进步以及高效的图像和视频处理算法能够跟踪视频序列中的对象并确定运动。与使用有源传感器设备相比, 这使得基于相机的视觉系统可以充当传感器信息 [2]。[3] 开发的乒乓球机器人系统采用了一个 ccd 摄像机和一个基于芯片 bt878 (768 x 576 像素 @ 40 赫兹) 的标准图像采集卡, 使用球坐标与其之间的三角测量来估计球的位置。阴影, 通过颜色跟踪。在这项工作中, usb 通信计算机相机接口, 以获取一个帧组成 (640 x 480) 图像元素每66毫秒。利用两个图像亮度水平的差异来确定感兴趣区域的运动。全局和局部阈值用于从背景中分割球区域。基于图像平面几何形状的摄像机标定和坐标分析。

3 系统实现

构建一个系统需要在算法要求和可用资源之间取得平衡。本节介绍系统配置使用的技术和过程。

3.1 系统结构

CCD 摄像机是机器视觉和机器人几何信息的重要来源 [1]。视频帧是通过基于 CCD 的 Logitech 计算机摄像机采集的。开发了基于驱动程序的独立应用程序接口和 Linux (V4l) 视频, 以 VGA 分辨率每秒捕获15帧。模拟到数字转换与 CCD 像素时钟同步。相机和机器人手臂与英特尔机器接口。MIR 通过串行接口进行通信。

在本工作中, 机器人运动是通过机器人的运动主命令, 使用 C 编程编程的。

3.2 系统设计

为了避免用户期望和实现可计算系统的能力之间的不匹配, 指定独特的步骤 [9] 非常重要。随后的章节解释了用于收集场景信息的特定计算机视觉技术及其在实现系统中的应用, 如图2所示。

图2.系统框图

3.2.1 阈值和球检测

在不消除基本信息的情况下减少要处理的数据量是实时图像处理的关键 [14]。对象识别包括恢复有关其反射率和形状的信息。为场面的特定像素区域的强度值的偏移量的偏移量框架区别 (dfd) 被计算, 以跟踪在场面的变动 [18]。[16] 总结了图像分割的各种点依赖性和区域依赖性全局和局部阈值技术。在这项工作中, 执行预处理阈值标记, 从感知运动的感兴趣的区域中分割噪声。此阈值被测量为真实颜色类的单个红色、绿色和蓝色通道值的总和。图像在两个级别上进一步表示, 以确定与亮度级别变化相对应的区域, 从而有可能成为球。这些变化的特征是边缘, 这是曲线对应于不连续性的表面反射率属性和遮挡轮廓的对象 [18]。采用一种用于一阶和二阶连续性的快速、高图像能量收敛算法来确定各种等高线 [15]。进一步应用基于检索到的等高线点的区域相关阈值, 将椭圆作为用于确定图像平面中球轮廓的单一形状近似值。因此, 场景中对象的拓扑属性用于在图像平面中定位球中心。

3.2.2 相机校准和三维成像

该系统利用摄像机校准的感官信息, 根据图像平面数据重建球的三维信息。由于使用了单个摄像机, 运动精度取决于摄像机的校准。因此, 相机校准被用作相机的位置、方向和光学特性的函数。基于机器人线性轴、球框 B (x，y，z) 相机帧 C(x，y，z)、真实图像帧Fp(x，y_p) 和像素图像帧 I (row, col)) 的场景几何模型, 建立了基于宇宙帧 U(x，y，z) 的基准的几何模型。摄像机获得了世界场景的透视图像, 因为其光轴垂直于图像平面。此图像帧的宽度中心 I(0,col/2) 和 I(row，col/2) 与通用轴Ux对齐可确保图像平面中的零度平移。真实图像帧坐标Fp(x，y) 和球尺寸是根据帧中的像素信息计算的, 如下图所示。

图3.基于场景和对象拓扑结构的三维成像

物体的大小与其与图像平面的距离成反比这一事实被用来计算球的大小作为其与焦点距离的函数。此函数的实验值确定沿相机焦点线的球距离Zb (mm)。图4演示了如何使用此距离在图像平面中从像素单位转换为真实世界单位 (mm)。

图4.像素到毫米变换

基于实验的alpha;和beta;值用于使用方程 (2) 和 (3) 将像素值映射到物理分辨率值。

这将在图像平面上的真实世界单位中定位球。利用场景的几何分析设计了三维摄像机视觉的变换。随后的公式是推导出用于单摄像机视觉的线性和旋转矩阵, 确定球在空间中的位置和方向, 相对于通用帧U。

因此, 从通用帧到球位置的转换被计算为：

其中是球中心在各自的坐标关于普遍框架。平移、倾斜、聚焦和位置的参数化校准, 与场景和球体的拓扑参数成比例, 使球能够从图像平面以三维方式定位。

3.2.3 运动估计

运动被评估为帧n中Bx,By, Bz 的时空位移。利用球的速度, 以其位移的速率和方向为矢量测量, 分析了弹球运动的轨迹, 给出了下面给出的。

当球表现出弹丸运动时, 垂直运动受到向下加速度常数 g=minus;9860mm/sec²的影响 [5]。t 是两个连续球位置之间以毫秒为单位测量的时间间隔, 通过处理器刻度和CCD 时钟速率之间的同步保持在0.066秒。图5显示了球的轨迹路径的近似值。

图5.运动估计

随后的弹道估计弹丸运动方程是参照每个帧中球中心的坐标, 作为速度的函数导出的。

3.2.4 目标计算

在弹跳发生之前的单个球轨迹是根据方程 (12)-(14) 计算的。使用二次解进一步估计第一次弹跳的时间。

第一次撞击后, 垂直方向的速度变化是通过无量纲碰撞系数恢复的。由于机器人必须在第二次弹跳发生前击球, 因此也会计算第二次弹跳的时间和位置。

图6说明了为计算目标点而开发的线性插值模型。

图6.目标点计算

机器人的命中点是f(x,y,z),由以下可得：

这个位置是指定给机器人的, 机器人被编程来演示击球的动作。方程 (17) 确保桨的中心与球中心对齐。

其中, R_home 是机器人的主场位置, R_paddle为机器人底座与桨中心和a之间的距离, b是指定滚头和俯仰关节角度的剩余两度自由度, 用于机器人工作空间中的平滑运动。

4 系统性能和分析

系统延迟是从数据采集到将其应用于控制输出的时间 [15]。全局时间戳将此延迟度量为处理器刻度的函数。此外, 各种局部参数确保了系统各个块执行的平滑流及其综合性能。

4.1.1 球位置检测与三维成像

分割球运动的全局阈值和额外的局部阈值确定从二值图像中提取球区域, 如图7所示。图 8 (b) (c) 显示了确定相机轴线球距离的值的比较。方程 (2) –(8) 进一步用于确定球中心的三维坐标, 如图 8(d) 所示。此模块的性能参数是仅扫描运动标识区域中的单个轮廓序列。系统需要10毫秒来执行这些计算。为了保持与帧捕获速率的同步, 在实验试验的基础上, 提供了具有 20% I/O容差的45毫秒延迟。

4.1.2 目标估计和机器人运动

利用方程 (9)-(11), 利用机器人运动的定向法, 利用三个方向的球速度来确定球的运动方向。由于任何物体的射弹路径都是抛物线的, 因此球的轨迹被建模为抛物线函数, 如图 (9) 所示。

Delta;t是目标估计的决定性性能参数。该系统需要10-20 毫秒来执行目标估计的计算, 包括前面的模块。系统计时与适当的延迟平衡, 并将计算为30-40 毫秒。

4.1.3 系统设置

基于阵列的图像数学算法模块,

全文共8111字，剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[2949]