Realistic Simulation of Emotion by Animated Characters

Ariel Beck1, 2

1Department of Creative Technologies, ²Expert Centre, Portsmouth University, Portsmouth,

Hampshire, PO1 2DJ, UK

ariel.beck@port.ac.uk

Abstract. A truly realistic virtual environment for simulation would require

human characters to display realistic features and behaviours. However,

another requirement is believability. These elements would be vital, for

example, in order to train students in a medical field by immersing them in

scenarios using realistic and believable animated humans. It should provide a concrete experience for effective learning; as defined in Kolb‟s learning cycle [1].

To facilitate this, animation is reaching a point where animated characters are becoming visually realistic. However, due to the effect of the uncanny valley [2], which is a drop in believability as animated characters approach visual perfection, it may be necessary to display realistic behaviour in order to preserve the credibility of the experience.

Further, realistic human behaviour by definition conveys emotions. Therefore, it is first necessary to define emotion in ways, which could be simulated by animated characters. The display of emotion has been considered previously for facial animation, but 55% of non-verbal communication is conveyed through the body [3] and it is not clear how viewers respond to computer generated body cues, or how such a response could be assessed. In this paper the body is presented as a medium for expressing emotion and the methods that could be used to measure the emotional impact of such characters on the user are discussed.

Keywords: Emotion, Animated character, perceived realism, emotional behaviours, simulation

1 Introduction

As animation techniques are reaching a point where animated characters are

becoming visually highly realistic, animators are likely to be confronted with the issue of the “uncanny valley”. The “uncanny valley” models a drop in believability and comfort as characters acquire greater similarity to humans [2].

As displayed realism increases, there is a peak in believability just before the

“uncanny valley”. While, animation is sensitive to this optimal stage the characters that are required to simulate a medical environment are expected to be highly realistic

and hence are more likely to “fall” in the valley. In other words, for animated

characters that look more and more realistic (similar to humans) the viewers expect a

higher degree of realism in behaviour and non-verbal expression. Without displaying convincing emotions they tend to look unnatural [4] and hence, cannot avoid the

pitfall of the “uncanny valley”. So, finding ways for the character to express

emotions, which are interpreted by the user as realistic or near realistic may be one way of avoiding the drop in believability.

This high realism would be needed in order to build a truly realistic virtual environment in order to train students from the medical fields, by immersing them in

realistic scenarios. In these scenarios, the character would need the capacity to

display non-verbal cues (including body language) from which trainees could assess

the inner emotional state of the character. As in real life even though, the user

interprets what is communicated both verbally and through body language, the

messages conveyed may be contradictory. Simulating the multi-channel

communication we naturally use in real life should facilitate a stronger sense of social

presence [5]. A higher sense of presence would be beneficial as it should provide a more engaging and hence concrete experience for effective learning [1]. However, before developing applications it is necessary to gain an understanding of the effect that an animated character displaying emotions may have on the observer.

Fig.1. Field of investigation

Therefore, Studies on the perception of emotional behaviour are required before constructing a highly realistic AI dedicated to emotions (Fig.1.). Since emotions have

to be displayed by an animated character and will have to be assessed on observers, this paper presents a preliminary working definition derived from the psychology of emotion. Then body-language is presented as a medium to express emotions because

“55% of non-verbal communication is said to be expressed through body language”

(Mehrabian and Friar 1969) cited by [3]. Finally methods for measuring the

emotional impact caused on the observer by such characters are discussed.

2 A Definition and the Project within James-Lang Theory

Defining what an emotion is is problematic, Ledoux (1996) states “one of the most significant things ever said about emotion may be that everyone knows what it is until they are asked to define it” [6]. The problem in defining the term mainly comes from the difficulty of drawing a distinction between what is emotional and what is not. Questions such as when do emotions occur are also very controversial. Moreover, putting such borders in is very subjective.

This paper uses bdquo;general‟definition proposed by Keltner and Gross (1999) as an emotion as an “episodic, relatively short-term, biologically-based pattern of perception, experience, physiology, action and communication that occur to specific physical and social challenges and opportunities” [7]. In order to use this definition, the elements are grouped into three main components:

Action: Physical responses to an emotion (including physiological) Cognitive: Appraisal of the situation

Feeling: Consciousness of the emotion, subjective state [6].

Fig. 2. Emotional flow (following James-Lang theory) for an

剩余内容已隐藏，支付完成后下载完整资料

1介绍

随着动画技术的发展，动画人物已经达到了一个新的高度，由于视觉上的高度逼真，动画师很可能会面临“恐怖谷”的问题。“恐怖谷”模型显示，随着角色与人类的越来越相似，他们的可信度和舒适度都有所下降。随着显示的真实性的增加，有一个峰值的可信性就在之前“恐怖谷”。然而，动画对这个最佳阶段是敏感的，模拟医疗环境所需要的角色是非常逼真的因此更有可能在山谷中“倒下”。换句话说，对于动画角色看起来越来越逼真(与人类相似)，观众期望的是一个在行为和非语言表达方面具有较高的真实性。没有表现出令人信服的情绪，他们往往看起来不自然的，因此，不能避免“恐怖谷”的陷阱。所以，要想办法让角色表达出来情感，被用户解释为现实的或接近现实的，可能是避免可信度下降的一种方法。为了建立一个真正真实的虚拟环境，为了训练来自医学领域的学生，让他们沉浸其中，这种高度的现实主义是必要的现实的场景。在这些场景中，角色需要具备这样的能力展示非语言线索(包括肢体语言)，学员可以从中进行评估角色的内在情感状态。即使在现实生活中，用户通过语言和身体语言解释所传达的信息传达的信息可能是矛盾的。模拟多通道我们在现实生活中自然使用的沟通应该有助于增强社交意识。较高的存在感将是有益的，因为它应该为有效学习[1]提供更吸引人的具体经验。然而，在开发应用程序之前，有必要了解显示情绪的动画角色对观察者的影响。因此，在构建一个高度逼真的情感AI之前，有必要了解情绪对动画角色的影响。

本文从情感心理学的角度出发，提出了一个初步的定义。肢体语言被作为一种媒介来表达情感，因为55%的非语言交流据说是通过肢体语言来表达的。最后是测量方法讨论了这些人物对观察者的情感影响。
2詹姆斯·朗理论的定义与工程
情绪是不好被定义的，Ledoux(1996)说“关于情绪最重要的事情之一可能是，每个人都知道它是什么，直到他们被要求定义它”。定义这个词的问题主要来自很难区分什么是情感的，什么不是。诸如情绪何时发生之类的问题也很有争议。此外，设置这样的边界是非常主观的。本文将Keltner和Gross(1999)提出的“一般”定义作为一种情绪，作为“发生在特定的物理和社会挑战和机遇中的情景性的、相对短期的、基于生物学的感知、体验、生理、行动和沟通模式”。为了使用这个定义，这些元素被分成三个主要组件:
动作:对一种情绪(包括生理)的身体反应认知:对情境的评估
感觉:意识的情感，主观状态。

然而，已经发展了许多理论来解释这些组成部分如何连接在一起，但不幸的是，在一个理论上没有达成共识。

为了关注情感的表现及其对观察者的影响，需要一个理论模型来将项目置于流畅的情感事件中。为此，选择了詹姆斯·朗的理论从认知到行动再到感觉.这里选择这个理论是为了有效地突出博士的目标:即使现在有很大的争议，在一个流畅的过程中对组件进行排序有助于区分对项目重要的组件。此外，在这个阶段，它们发生的顺序并没有被确定为一个问题。

对于动画角色，研究的重点只会放在如何表现动作上，同时可以模拟系统的其他部分。然而,当在评估观察者的理解和情绪的内在状态时，所有的要素都是必须的。

3肢体语言是一种真实地表达情感的方式

专注于通过身体表达情感似乎是合适的的方法。心理学主要关注的是对面部表情的理解表达式。然而，为了架起恐怖谷的桥梁，有必要考虑到整个身体的情绪，作为一个动画人物的展示通过面部而不是身体的其他部位来表现情感可能对观众来说还是不自然的。这已被编纂成一条规则“经典”动画作为“表情”必须捕捉到整个身体以及脸上的。剧院也做到了这一点，用阿陶的话来说，要求演员成为“情感的运动员”，演员训练的很大一部分涉及情感的非语言表达，如恐惧、愤怒、快乐、压力等情绪很可能通过全身来表达，应该是可以观察到的。研究人员已经开始对不同类型的肢体语言进行分类，这取决于它们是如何发生的。
姿势:姿势是身体在一段时间内所采取的特定位置。人们普遍认为姿势是表达情感的媒介。例如，教育家通常把学生的姿势作为他们内心状态的一个标志。因此，一个表现现实情感的人物会做出与自身情感相对应的姿势。一些人机交互的研究者已经开始研究和分类姿势。例如，De Silva和Bianchi-Berthouze通过对姿势的解释研究了愤怒、恐惧、快乐、悲伤四种情绪的跨文化识别。他们建立了一套利用演员来表现情绪姿态的方法，并分析了代表的情绪的解释。他们的研究有助于这个项目，为收集和分类情绪姿势提供了一种方法。。

运动:“现在的共识是，许多情绪确实是由特定的身体运动和静态姿势来区分的，这些都是在没有面部和声音线索的情况下判断他人情绪状态的有效提示。”因此，一个动画角色在真实地表现情感的同时，也应该通过动作来表现。对情感的研究表明，即使是在非常短的动态场景中，观察者也有可能仅从肢体动作来识别情绪。
动作类别是最广泛的，因为它包括执行方式以及与言语互动时的手势。在这项研究中，会话手势被分为两类，一类是完全意识到动作的手势(这里称为有意识的手势)，另一类是“自动”的手势(这里称为自发的手势)。

有意识的手势

象征意义的:例如，美国人用“V”表示胜利。“这些手势在文化上是特定的，因为一个手势在不同的文化中可能有不同的解释。”

自发的手势

标志性的:通过手势的形式描述正在进行动作或事件的某些特性。

隐喻性:表演没有物理形式的概念。
节拍:像接力棒一样的小动作，不会随演讲内容的形式所改变，它们不是通过言语传达信息的。

为了更深入地了解情绪在人类对话行为中扮演的角色，以及观察者在动画角色上可以感知和识别的手势，还需要进一步的研究。

空间关系:指人与人之间在社会交往中的距离。然而，它也可以表示情绪状态，例如，愤怒的人在社会交往中有减少距离的倾向，但亲密的人之间也是如此。因此，空间学本身不能被认为是一种情感表达，而是必须完成对现实情感行为的表征。

为了创造出可以通过肢体动作表达情感的动画角色,研究人员发现相同的情绪刺激可以被用在动画角色上:演员可以显示一个特定的情感同时记录使用动作捕捉技术,而不是录像。最终有证据表明所摆出的情感表情近似于真实的情感表达，动作捕捉技术可以被用来使角色真实地表现情感。

4测量情绪对观察者的影响的方法

测量情绪是一个关键的研究领域，因为它提供了可以用来评估这些人物对观察者的情绪影响的方法，也指出了哪些元素可以用来显示情绪。心理学家使用三种方法来测量情绪。自我报告可能是最常用的，参与者被要求报告他们自己的感觉，直接或使用调查问卷。不幸的是，我们不可能知道两个受试者是否平等地评价他们的内在情绪状态，或者是否平等地感受一种情绪。因此，评估一个主题的情绪状态的演变似乎更有用。这种方法可以以评估观察者如何解释表达情感的动画角色，而不是评估参与者自身的内部状态。这种方法的一个问题是研究问题的透明度:如果受试者能够通过阅读问卷来猜测被测假设，她可能会给出不同的答案。此外，关于情绪的强迫选择的问题不能使用，因为它假定观察者能够感知什么是情绪，从而避免其他可能的感知反应类型，如“这只是一个算法循环”。因此，必须仔细编制一份调查表，以避免对具体答案产生偏见。

另一种方法是生理测量，它可以揭示对一种情绪的无意识反应。身体的反应，如血压、心率或出汗，都可以被测量出来，这在一定程度上揭示了观察者的情绪体验。这些措施很有趣，因为它们是部分可见的，因此在表现特定情绪时也应加以考虑。例如，一个显示恐惧的动画角色可以呼吸得更快，甚至出汗。换句话说，动画角色应该显示与情绪相关的线索。这种方法的主要问题是确保特定的测量结果揭示了特定的情绪，因此，一组特定的生理变化代表了正确的情绪，这是不可能的。
最后，对人们反应的行为观察被广泛应用。不幸的是，当涉及到通过行为来评估情绪时，心理学家倾向于关注面部表情，使用标准化的方法，如面部动作编码系统。FACS为研究人员提供了非常精确的面部肌肉运动描述。一个非常细心的观察者通常可以检测“表情”。这些都是很难模拟和“微观”的表达式“目前无法通过动画角色显示。然而，FACS有潜力阐明一种表现出来的情绪对观察者的影响。虽然它也是“非常耗时”的，因为它需要研究参与者的面部记录。不幸的是，这三种标准的测量方法并不适合评估情绪理解和情绪表现对观察者的影响。因此，似乎有必要从这些方法中开发新的方法，这些方法专门适用于动画。

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[18629]，资料为PDF文档或Word文档，PDF文档可免费转换为Word