摘 要

全球的残障人士是一个巨大的数量群体，在残疾人当中就存在一亿数量左右的聋哑人，其中两千万的聋哑人居住在中国大陆地区。一般而言，普通人之间的信息交流主要是基于视觉、听觉方式以口语和书面形式进行交流，而以聋哑人为代表的残障人士之间主要通过面部表情和手语进行交流。因此，正常人群和聋哑人群之间的沟通障碍是社会现存的一个典型问题，而社会现有的信息交互产品和数字化服务并不能完全满足聋哑用户的沟通需求，情感化设计只是停留在理论上而在实践中存在很大问题。而当今，体感交互装置技术的发展给设计师们提供了一个全新的面向残障人士进行高效无障碍交互方式的可能性。

本文主要基于残障人士的用户研究，挖掘残障人士在生活交流中的具体问题和实际需求，并通过将交互体感技术与交互设计原理相结合，通过Leap motion体感识别技术能够顺利的帮助残障人士群体在一定理想环境中进行手势识别的交互设计方案，并探讨在web端实现手势识别与翻译方案进行应用的可行性和可能性。通过本毕业设计方案，残障人士群体可以在GRI手势识别系统中录入新的手势并在数据库中添加手势游戏等衍生功能，解决残障人士和正常人的沟通障碍，弥合聋哑人知识与能力的分离，满足聋哑人与普通人群情感化交流的实际需求，力争带来全新的社会价值。

关键词：残障人群、leap motion 、手势识别、交互设计

Abstract

At present, people with disabilities around the world are a huge number of people. Among the disabled, there are about 100 million deaf people, and 20 million of them are living in mainland China. In general, the communication between or dinary people who are listening is mainly through oral and written communication, while the deaf-mute people communicate mainly through facial expressions and sign language.

Therefore, the communication barrier between the normal population and the deaf-mute people is a typical problem existing in the society. However, the existing information interaction products and services can not fully meet the communication needs of deaf-mute users, and the emotional design only stays verbally. Can't really achieve it. The development of so matosensory interaction device technology gives designers a new possibility for an effective and barrier-free way for people with disabilities to interact.This article is based on user research of people with disabilities, to explore the specific problems and actual needs of the actual communication of people with disabilities, and to combine the so matosensory technology and interaction design, and try to generate a body recognition technology that helps people with disabilities through Leap motion.

The interactive design of gesture recognition and explore the feasibility and possibility of implementing gesture recognition and translation schemes on the web. Disabled people can use this graduation project to create new gestures and add gestures and other functions to the database to solve the communication barriers between disabled and normal people, to make up the separation of knowledge and ability of deaf and dumb people, and to satisfy the emotional exchange of deaf and dumb people. Demand brings new social values.

Key Words： Disabled population； leap motion； Interactive Design； Interactive Design

目录

第一章 绪论 1

1.1. 课题研究背景 1

1.1.1. 信息交互设计的兴起 1

1.1.2. 体感装置技术的出现 1

1.1.3. 残障人群的定义范围 2

1.2. 课题相关的国内外研究现状 3

1.2.1. 国外研究现状综述 3

1.2.2国内研究现状综述 3

1.3. 课题相关的研究方法 5

1.4. 研究目的 6

1.5. 研究意义 6

第二章 GRI系统的设计方案构思 7

2.1. GRI系统的设计源起 7

2.2. GRI系统的设计思路与流程 7

2.3. GRI系统设计拟采用的技术方案 8

第三章 GRI系统设计的用户调研与用户画像 10

3.1. 用户研究的具体方法 10

3.1.1. 调查问卷 10

3.1.2. 用户访谈 10

3.1.3. 情景原型 10

3.2. 调研问卷的设计 10

3.2.1. 调研问卷的问题设计 10

3.2.2. 问卷调研结果概述 14

3.3. 用户画像以及目标用户访谈 15

3.4. 用户群体画像结论分析 17

3.5. 用户体验旅程图 18

3.6. 利益相关者地图 20

第四章 GRI手势识别系统的设计实践 21

4.1. GRI手势识别系统的技术实现基础 21

4.1.1. 手语翻译技术 21

4.1.2. 语音文字识别技术 21

4.2. GRI手势识别设计方案概述 22

4.3. GRI手势识别设计方案界面呈现 23

4.4. 程序实现与Leap motion技术的接入 26

4.5. GRI手势识别设计方案现场效果呈现 28

第五章 结语 29

5.1. 研究成果总结 29

5.2. 本研究目前的局限性与后续展望 29

参考文献

致 谢

绪论

课题研究背景

信息交互设计的兴起

随着社会与科技的发展，整个社会对信息的传播与多重交互需求越来越大，清晰而且准确的信息传递与交流方式的研究与应用逐渐成为社会关注的热点，信息交互设计应运而生。弗兰克-西多夫（1994）对于“信息交互设计”对于“信息交互设计”进行了定义：“信息设计的本质上是一种对于信息清晰并且高效率的呈现，通过传播学、社会学与艺术学的交融达到交流的目的。信息设计可以结合平面设计与视觉传达的原理进行信息化的创作、沟通理论等领域的技能。本质上，信息交互设计是信息设计、交互设计与感知设计的结合”。

在科技高度发展的今天，信息交互设计常被人们视为艺术与科学交叉融合的学科，是一种以科学的技术为基础的和其他任何一门艺术不同的全新的艺术流派。弗兰克-西多夫认为“信息交互设计”是由三个不同的设计专向的融合，包括了“信息设计、交互设计、感知设计”。将以上三个领域集合在一起研究，并视为一个统一的“信息交互设计”领域进行研究。

“交互设计”是由比尔-莫格里奇于1990年提出的概念，“交互设计”指的是人和产品。交互是用户和产品的行为，反馈系统是基础单元，根据用户的需求，任何使用交互式环境和虚拟环境的组合，产品或虚拟接口，都是由用户的行为给出反馈的，可以理解为：建立在产品感知和反应上（了解用户行为，表达用户的意图，并在此基础上做出某些反馈）。

随着交互设计的发展，对于交互技术的研究与应用已经成为设计方案实现的基础。当今的交互技术主要研究新一代的自然和谐的人与机器的对话模式、沟通语言设计，产品设计原理、信息服务、app交互、无界面设计技术、人工智能等，而当今全球对于信息交互技术的研究主要包括传感技术、网络技术、人工智能等，而交互行为与这些技术息息相关，几乎承载了所有媒体的技术构成、技术的标准和发展的方向，构成了一个全新意义上的信息交互媒介。媒体、设计与科技的融合已经成了当今设计学研究的前沿热点。

体感装置技术的出现

随着互联网和高新科技的飞速发展，出现了人工智能AI、云计算、体感技术等新的领域，人工智能AI、虚拟现实技术以及计算机图形技术为体感交互装置奠定了一定的基础，而运动追踪、手势识别、运捕捉运动、识别面部表情等新的技术的出现也给我们提供了一种新的人机交互模式，称之为“自然用户界面（Natural user interface）”，NUI的出现给设计师们的设计研究提供了一个全新方向的可能性。在此领域，目前使用比较多的是kinect，leap motion。

在体感技术的背景下, 用户将通过手臂的运动和手臂各部分的位置变化，作为交流语言的关系来传达信息互动的情绪与内容。这不同于传统的通过键盘、鼠标、触摸屏交互，用户和产品不需要直接接触, 更多的是人与人之间的互动, 显得轻松自然, 使用户更加自由, 并且不需要携带 WII 控制器等设备, 也不需要限制用户接触。在体感设备与技术的支撑下，只要在一定的覆盖范围之内, 用户就可以根据自己的喜好移动自己的区域,这种交互方式可以为用户带来自由轻松的用户体验。

残障人群的定义范围

“残障人群”在广义上指的是某些存在身体或精神残疾的部分人群的统称,比如受伤的儿童、老年人、听力和语言视力残疾、认知有残疾、身体有残疾等。残障人群由于自身生理的障碍或者缺陷，生活上有着许多不便之处，在生理与社会关系的变化让他们产生很多复杂的心理需求，有强烈的自卑感和无助感，自尊心强，也渴望人人关怀，希望获得社会归属感。对尝试新的科技产品的接受度较低，相对于普通人群，在面对新产品的试错过程中，更容易产生挫败感，降低用户体验感。

本文的研究人群主要基于残障人群进行正常化情感交流的需求，希望通过GRI手势识别系统的demo开发以及交互效果的展示，帮助部分残障人群能够在计算机数据库的支持下顺利进行手势传递，并且能够使得正常人群和残障人群在本系统的支撑下进行更加顺畅的交流与互动。

课题相关的国内外研究现状

国外研究现状综述

图1.1 Enable Talk手语手套图片来源：http://tech.sina.com.cn/i/csj/2012-11-22/13337822380.shtml

国外对此问题的研究水准相对较高，已经出现一些比较成功的设计作品。比如，乌克兰的一名大学生设计了一个名叫Enable Talk 的电子手套,该设备功能是可以将手语通过手套翻译成语音，使聋哑人“说话”，这可以改变聋哑人与普通人群沟通的方式。通过创建一个标准化的聋哑人手语库, 实现计算机代码和聋哑人手语之间进行交流的技术可能。在这个设计思路下，设计师需要与聋哑人保持密切的合作。本手语电子手套还需与一部智能手机，通过蓝牙来识别与接受手套信号并最终实现高效率的识别翻译。但目前手语手套价格昂贵，价值500美金，在市场当中的用户接受度存在一定问题。

美国最知名的科技企业“微软”研究所根据 Kinect 技术开发了系统翻译系统，开发网状的手语图的模型，实现了对聋哑人手语姿势的准确辨识，加强了聋哑人群与正常人群的交流。但是kinect体积相对较大，携带出去很不方便，产品的实用性相对比较受限。

总结来说，国外学术界关于手势交互的设计与技术研究最典型的应用于互联网产品和游戏设计之中。在文献数量方面，以研究leap motion的技术开发与应用的文献相对较多，从设计学角度针对聋哑人如何实现沟通问题的文献相对比较少。

1.2.2国内研究现状综述

2019年5月17日, 总部位于深圳的腾讯推出了 YouTube Ai 手语翻译工具, 如图1.2所示，该产品希望能通过人工智能技术, 缓解听力障碍患者的沟通障碍问题. 开发了一系列基于结构化属性学习的语言识别算法, 可以快速识别和翻译为最常用的手语，主要应用在机场、高速列车、民政等公共设施, 提供翻译工具语言服务。YouTube Ai通过建立标准化的数据库, 通过摄像头进行信息捕捉与采集，并且进行云计算及深度学习。YouTube Ai的出现对于本次毕业设计中的设计与实现给我带来很多的启示。

图1.2. 腾讯优图翻译 图片来源：tencent.com

国内的高校当中对此领域也有很多相关的研究，比如东北大学研究团队研发的“手语转换发声”手环，如图1.3所示，通过服务器这个媒介，可以将聋哑人手语转成语音输出，通过加速度，陀螺仪以及静电信号传感器，采集手波的运动数据，利用深度学习的机器学习算法，识别手部的信息数据，再翻译成聋哑人做的手语，将信息传输到装了程序的平板上的app程序端，最终双向输入输出文字与信息。“手语转换发声”手环的核心技术主要是依赖国外已开发的技术为基础，所以售价昂贵，需要5000左右的人民币。不仅在技术上难度高，购买渠道也比较有限。

图1.3 “手语转换发声”手环 图片来源：微博一手Video 视频截图

国内学术界与设计界也有一些针对残障人群的信息交互设计研究，由北京科技大学覃京燕发表的关于弱势群体情感计算的交互设计研究，提出了通过情感计算，人脸识别，传感器技术，情感语音识别等功能，对用户的情感以及语音，表情，行为的数据采集，通过情感计算的方法，提供人性化和智能化的产品以及相关服务。西南大学谢汶倩在硕士论文中提出信息无障碍化设计，针对网络产品，比如web端和app等案例的分析，深度挖掘特殊人群对互联网产品的需求以及使用特点，总结出针对不同特殊人群的网络产品的设计原则和设计的方法，从而实现信息无障碍化。

整体而言，国内相关的研究现状与国外相比仍有一定差距，不过发展速度较快，市场空间也相对较广，发展潜力较为乐观。

课题相关的研究方法

本论文的研究方法主要是以文献研究为基础,在国外文献和国内寻找和本课题的研究文献, 学习了相关理论, 找出了残疾人与体感交互技术的结合, 并从事了以用户为中心的理论设计, 改善了用户体验, 满足了残疾人的情感需求。此后，通过用户研究法、用户访谈、头脑风暴、焦点小组等方法的应用, 从生活、学习、社会等方面找出残疾人的生活痛点, 结合体感装置等新技术的互动性, 找出在信息艺术设计中可以为残疾人, 设计和预测的可能性, 并提出能够解决残障人群痛点的策略和初步框架。查找最新文献和案例, 通过案例分析、用户访谈、专家访谈等研究工具, 在持续的过程中, 研究残疾人的特点和设计中的不合理部分，对初步理论中存在的问题进行了发展和改进, 并提出了迭代化的设计方案与观点,并在技术工程师的技术支撑下，推进整体方案的成熟度与可用性的提高。

研究目的

本设计方案主要包括日常生活、社会和学术演讲、聋哑人的交流等方面, 深度挖掘残疾人在生活中所遇到的障碍，以及知识与表达能力的不对等，根据聋哑人的特点设定交互设计原则，在沟通和身体认知手段的设计中找到创新点。在规划过程中, 对目标用户的调研和需求报告进行深入研究和设计, 使残疾人能够迅速将自己的精神价值融入社会、生活和知识中, 我希望这一次研究调查可以为针对聋哑人的研究领域开辟新的思路, 用高新科技来满足残疾人生理和心理的损失, 也希望我能在未来进行更深入的研究, 以在社会以及学术界发挥作用。

研究意义

1）本次研究的意义主要为听力以及语言障碍患者及其相关利益者提供系统性的解决方案，满足弱势群体的情感和心理的需求，聋哑人有真正参与社会生活的能力，并且他们非常渴望真正的参与到社会中来，他们和普通人一样成为物质和精神财富的创造者。

2）本研究根据残障群体用户的心理需求为基础，从弱势群体的视角出发进行用户研究与交互设计，符合设计的民主化发展趋势以及设计应以人为本的和谐发展理念。满足聋哑人的情感表达以及知识输出。

GRI系统的设计方案构思

GRI系统的设计源起

“GRI手势识别系统”是本次毕业设计当中的设计方案名称。进行“GRI手势识别系统”面向残障人士为服务人群，GRI手势识别系统的设计主要是为了解决残障人群和正常人群进行交流的障碍。通过手势识别，能够将残障人群想表达的信号进行信息系统的转化与可视化。“GRI手势识别系统”方案所主要提供的功能包括：翻译手语内容、添加新手语、语音转文字、手势游戏。主要目的是解决聋哑人群和普通人群之间的沟通障碍。

GRI系统的设计思路与流程

第一步：设计定位，通过文献、数据调查研究背景，定下研究目的和意义。通过国内外案例现状的分析，以及文献的总结，找出目前交互设计与体感技术的融合点。

第二步：通过问卷调查，情景模拟等调研方法，建立人物模型，画出用户体验旅程图以及关键场景，找出触点以及痛点，相处解决的方案，制定利益相关者图。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：