本科生毕业论文(设计)

题 目 Experimenting with Sound Immersion in an Arts and Crafts Museum

学生姓名 许娇北

学 号 20151396039

学 院 传媒与艺术

专 业 艺术与科技

指导教师 韩玉婷

二Ｏ一九年四月二十四日

Experimenting with Sound Immersion in an Arts and Crafts Museum

Fatima-Zahra Kaghat, Ceacute;cile Le Prado, Areti Damala, and Pierre Cubaud

CEDRIC / CNAM,

282 rue Saint-Martin, Paris, France

{fatima.azough,leprado,cubaud}@cnam.fr, areti.damala@gmail.com

Abstract：Technical museums are goods targets for experimenting with sound immersion and soundscape authoring. This paper presents an immersive sound system emitting audio content. Experimentations were conducted with a wired, proof-of-concept prototype and two wireless devices. Our system takes into consideration the position of museum visitors as well as their orientation and visual vector. In contrast with other approaches, tracking and rendering are executed locally and in real-time by the visitorrsquo;s device.

Keywords: museum, immersion, edutainment, sound spatialization, headtracking, soundscape.

1 Introduction

The project described here is justified by a simple motivation: the machines on display in the “Museacute;e des Arts et Meacute;tiers” (MAM), one of the largest technical museums in France, are dumb. For many practical reasons, it is very difficult to run the machines for the public. As a consequence, visit in this type of museum turns out to be very close to a visit in a sculptures museum. The place granted to the sounds is indeed still marginal in museography and very few experiments are listed [2]. However, just like images, sounds are fundamental for learning [5]. The listening process is by nature slower compared with vision, but the reward is large since the sound is the vehicle of the human communication. The machines produce rich, complex and intense sounds often directly related with the function of the integrated mechanisms. Most machines in MAM have disappeared. However, there are strong chances that parts of the integrated mechanisms are still in use today (e.g. rods, vapor under pressure, rotating engines, etc.). The visitor could thus better comprehend the total operation of the machine exposed by associating already familiar and well known sounds. If, on the other hand, the sounds produced are not familiar, serendipity could be encouraged, with the unfamiliar acting as an element of surprise and stimulus for the visitor. Machines sounds can be reproduced in a number of ways. In this paper, we concentrate on spatialization methods, where an auditory stimulus is positioned in virtual space defining its distance, localization (horizontal panoramic and elevation) and virtual acoustic simulation (reverberation) [3]. Real-time sound spatialization and audio augmentation is an accessible technology today, but its potential for multi-media 174 F.-Z. Kaghat et al. general public edutainment applications is much less studied in comparison with visual augmentation [8]. After a review of related audio augmented environments, we summarize the useful points for our project. We then describe two experimental devices. The first one was used in an experimental setting, collecting the orientation of the head of the listener. The second is based on a commercial audio guide, in pre-production phase. We then outline the future stages of the project.

2 Related Work

Today interactive museum guides have reached a high level of functionality including visitor tracking, navigation and interaction. Bederson [1] was among the first to develop an electronic museum guide prototype supporting visitor-driven interaction by utilizing portable mini-disc players and an infra-red (IR) system to allow museum visitors to explore an exhibition at their own pace. The early European HIPS projects that run from 1998 to 2000, made also use of the IR technology. The position of the visitor was calculated through the combination of infrared and electronic compass data, then sent to a central server that pushed the appropriate information on the visitorsrsquo; terminal [4]. In the LISTEN project [9] the goal was to explore immersion in audio augmented environments by overlaying a virtual soundscape to the real environment users are exploring. A tracking transmitter/receiver, based on RF-burst signals in some cases and infrared cameras for others, is integrated on a wireless headphone. A central unit collects the data of each listener such as the absolute position and the orientation, then, appropriate auditory events are selected, spatialized in real time and sent to the user headphones as a binaural data. In ec(h)o [6], the visitors location is tracked using RFID technology. Sounds played are related to the objects seen by the visitor. Holding an asymmetrically shaped wooden cube, the visitor interacts with the sound objects by movement and object-based gestures, in order to listen to related audio information. Finally, Ambient Horn [5] also explored the potential of augmented audio in outdoor environments, and more in particular during a visit in woodland. The children moved to a location in which a local RF beacon was hidden; a sound was triggered and played through nearby wireless speakers while other implemented modules enabled the children to collect and exchange readings. The different architectures of ubiquitous virtual sound systems have also been discussed by Natkin et al. [7].

3 Recurrent Matters and Functional Needs

Sound information besides spoken commentaries could give to the visitors a better understanding not only of the exposed machinery but

剩余内容已隐藏，支付完成后下载完整资料

本科生毕业论文(设计)

题 目 在工艺美术博物馆进行沉浸式声音实验

在工艺美术博物馆进行沉浸式声音实验

法蒂玛·扎赫拉·卡哈特、塞西尔·勒·普拉多、阿雷蒂·达马拉和皮埃尔·库波特

塞德里克/ CNAM,法国巴黎圣马丁街282号

{fatima.azough, leprado, cubaud} @cnam.fr, areti.damala@gmail.com

摘要:试验技术博物馆商品目标声音浸和音景创作。本文提出了一种沉浸式的声音系统，它可以发射音频内容。实验采用有线概念验证原型机和两台无线设备进行。我们的系统考虑了博物馆参观者的位置以及他们的方位和视觉向量。与其他方法相比，跟踪和呈现是由访问者的设备在本地实时执行的。

关键词:博物馆;沉浸式;寓教于乐;

1介绍

这里描述的这个项目有一个简单的动机:在法国最大的技术博物馆之一“艺术与艺术博物馆”(Musee des Arts et Metiers, MAM)展出的机器是哑的。由于许多实际原因，为公众运行这些机器是非常困难的。因此，在这种类型的博物馆参观结果是非常接近参观雕塑博物馆。在博物馆学中，赋予声音的地方确实仍然是边缘地带，很少有实验被列入[2]。然而，就像图像一样，声音是学习[5]的基础。与视觉相比，听的过程在本质上要慢一些，但由于声音是人类交流的载体，所以回报是巨大的。这些机器发出丰富、复杂和强烈的声音，往往与综合机构的功能直接相关。MAM中的大多数机器已经消失了。然而，有很大的可能性，部分综合机制仍然在使用，今天(如棒，蒸汽压力下，旋转引擎，等等)。因此，参观者可以通过联想已经熟悉和熟悉的声音，更好地理解机器的整体操作。另一方面，如果产生的声音不熟悉，可以鼓励意外的发现，用不熟悉的东西作为惊喜和刺激游客的元素。机器的声音可以通过多种方式复制。在本文中，我们重点研究了空间化方法，即将听觉刺激定位在虚拟空间中，定义其距离、定位(水平全景和仰角)和虚拟声学仿真(混响)[3]。实时声音空间化和音频增强是当今一项可访问的技术，但它在多媒体领域的应用潜力是174 f.z。Kaghat等人对普通大众教育娱乐应用的研究要比视觉增强[8]少得多。在回顾了相关的音频增强环境后，我们总结了对我们的项目有用的地方。然后我们描述了两个实验装置。第一个用于实验设置，收集听者头部的方向。第二个是基于商业音频指南，在前期制作阶段。然后我们概述了项目的未来阶段。

2相关工作

如今，交互式博物馆指南已经达到了很高的功能水平，包括游客跟踪、导航和交互。Bederson[1]是第一批开发电子博物馆指南原型的人之一，该原型利用便携式迷你光盘播放器和红外线(IR)系统支持参观者驱动的互动，使博物馆参观者可以按照自己的节奏探索展览。早期的欧洲HIPS项目从1998年到2000年运行，也利用了红外技术。通过红外和电子罗盘数据的结合，计算出访客的位置，然后发送到一个中央服务器，将适当的信息推送到访客的终端[4]上。在LISTEN项目[9]中，目标是通过将虚拟声景叠加到用户正在探索的真实环境中，探索沉浸在音频增强环境中。无线耳机上集成了一个跟踪发射机/接收机，在某些情况下基于rf突发信号，在另一些情况下基于红外摄像机。中央单元收集每个监听器的绝对位置、方位等数据，然后选择合适的听觉事件，进行实时空间化，作为双耳数据发送给用户耳机。在ec(h)o[6]中，使用RFID技术跟踪访问者的位置。播放的声音与参观者看到的物体有关。参观者手持一个形状不对称的木制立方体，通过动作和基于对象的手势与声音对象进行交互，以便聆听相关的音频信息。最后，Ambient Horn[5]还探索了增强音频在户外环境中的潜力，尤其是在访问林地时。孩子们搬到了一个地方，在那里隐藏了一个当地的射频信标;一个声音被触发并通过附近的无线扬声器播放，同时其他实现的模块使孩子们能够收集和交换读数。纳特金等人还讨论了普遍存在的虚拟音响系统的不同体系结构。

3经常性事务及功能需求

除了口头解说之外，良好的信息可以让游客更好地了解暴露的机器，以及MAM的历史。根据他们的动作和行为，来访者接收到的听觉信息可能与真实的视觉对象有关，也可能与真实的视觉对象无关。游客的身体、周围的空间、在特定区域停留的时间和感知到的声音之间有着很强的关系。在之前的所有作品中，听众、源和空间都是通过场景模型、声音映射和定义交互场景的脚本连接起来的。为了定义脚本，需要将虚拟区域映射到实际空间。我们的目标是在175工艺美术博物馆中进行声音沉浸的实验，在真实场景中叠加虚拟元素的同时，为听众提供良好的沉浸感。增强现实环境的连贯性依赖于现实和虚拟世界以及游客行为之间的关系。复杂的听觉信息容易产生层次关系。这意味着虚拟听觉场景的内容必须被认为是一个真实的声景构成，在其中听者可以清楚地分辨出不同的成分。

4实验

我们的研究方法与之前的方法在很多方面都有所不同:首先是捕捉游客头部方向的能力，并计算他的视觉向量。然后，系统是完全分布式的:它为每个用户提供自主设备，这意味着系统的管理是在本地完成的。因此，该系统可以同时被大量的访问者使用。

4.1系统描述

该系统连接到一个嵌入耳机的运动和方向传感器，创建一个声音对象的地图。它不断地分析来访者的视觉向量，根据他/她所指向的对象，为他/她传递合适的合成声音。还考虑了访问者与每个对象之间的距离。暴露的物体发出并传递给游客的声音强度与这个距离成反比。该系统还包括一个3D视觉界面，可以再现博物馆环境、参观者的位置以及他们周围的声音对象。这个界面允许管理博物馆的声音景观(例如启用和禁用发出的声音，或者更新它们的内容和性质)。

最初，我们的方法包括构思和实施一个声音引导博物馆展览的虚拟仿真。这是通过在实验室中创建一个小型博物馆环境来实现的。每个展出的对象都与不同类型的音频内容相关联:对象的音频描述、与对象相对应的环境声音的再现以及特定的音乐表现形式。系统提出了两种执行模式。在“虚拟模式”中，访问者的位置和方向是通过鼠标和键盘手动处理的。该模式可用于网上参观虚拟博物馆和画廊。参观者可以在虚拟环境中移动自己的位置，接近物体并听到与之相关的音频内容。“真实模式”是指在现实世界中参观博物馆。游客的位置和方向是处理，使用运动和方向传感器。参观者戴着立体声耳机，耳机上装有传感器(图2)。声音对象的检索机制、每个声音的强度和方向都是基于参观者在空间中的导航，在参观者在展览过程中不断更新导航。

类似地，系统还附加了两个独立的图形界面:一个3D界面和一个2D界面。三维界面显示了使用该系统的访问者的实时视图再现。如果选择了虚拟模式，访问者可以使用附加到系统上的指向设备(鼠标、键盘、操纵杆)进行导航。在二维界面中，系统显示声音对象和176个f - z的映射。Kaghat等人在博物馆环境中的位置和方向。对象表示为可视图标，而访问者表示为图标和箭头。然后，该接口允许激活或禁用特定对象的声音发射，只需单击其关联的图标。使用包含语音、环境声音和哔哔声指示器的“组合框”，可以更改音频内容的类型。

4.2实现

本系统是利用处理环境开发的。FMOD API用于声音空间化。它是一个多平台的声音引擎，免费用于非商业用途。在运动和方向跟踪方面，采用了一种可靠性高、延时小的波勒莫斯爱国者(PP)传感器。使用这种传感器是验证声音空间化功能的第一步。然而，它的有线连接不方便在大空间使用。在使用有线PP进行初步验证后，还测试了另外两个无线跟踪传感器:Sparkfun-elecronics公司生产的IMU 6自由度和Eshkar amp;Falard industrie公司开发的PERCIPIO耳机。

在对系统进行基准测试之前，必须准备好音频内容。虽然系统架构支持无限数量的音频对象，但是对声音的最佳感知是我们系统的基本问题。因此，对放置在同一房间的可分辨音频对象的最大数量进行了测试。参与者必须站在一个固定的点上，被不断变化的声音物体环绕。他们只有转头的能力。他们中的大多数人能够同时感知多达六种声音。除了这个数字之外，定位和区分音频对象似乎是困难的。因此，该系统具有调整被感知音频对象的最大数量的能力。

在选择合适的音频样本进行实验后，对声音进行归一化处理。下一步是实验环境的准备。在4x4米的房间里，墙壁上摆放了10张与音频对象相对应的照片，同样的场景在3D视觉界面上进行了虚拟再现。参观者戴着立体声耳机，上面有位置和方向传感器固定，是投入到沉浸的环境中，只要音频对象被激活。持续分析他的位置和方位，并根据来访者的动作更新每个激活声音的三维特征。当参观者接近一个图像时，他可以根据自己的位置和方向(左或右)清楚地分辨出相关的声音。在系统可视化界面上实时再现访问者的视野(图2)，估计用户位置和方向的变化与音频内容更新之间的延迟为17 ms(毫秒)。这个值大大低于人类听觉感知持续时间估计为50毫秒(毫秒)。此外，访问者的头部速度运动完全不影响系统的听觉性能。

第二步使用了另一种无线跟踪配置:工业耳机PERCIPIO。head设备连接到多媒体平台(在我们的例子中是PDA)，可以根据访问者的兴趣提供个性化的内容。采用红外技术对10cm精度的室内环境和5m精度的室外环境进行定位。为了计算头部方位，PERCIPIO使用磁罗盘来确定方位角。目前，我们正在评估PERCIPIO的可行性、延迟和准确性，同时我们也在致力于将其集成到我们的声音空间系统中作为方位跟踪器。

5结论与未来工作

本文介绍了一种用于博物馆沉浸式体验的增强音频现实系统。这个系统是专门为技术博物馆设计和开发的，在那里，不同类型的机器没有他们的声音被展出。我们的第一个实验证明跟踪渲染偶的性能是令人满意的。未来的工作将集中在双耳个人渲染的发展。此外，高音质的自适应声音设计与博物馆的对象相关，将避免听觉紧张，给游客带来最佳的感知条件。因此，下一步是记录机器的不同声音。然后将创建一个开放组合的原型。获得更多关于游客行为的数据(速度，轨迹记忆，178 f.z。Kaghat等人在不同地点花费的时间)可以改善这种交互场景以及个人的交互性和沉浸感。

致谢

非常感谢巴黎艺术与艺术博物馆前副馆长Bruno Jacomy的宝贵建议，以及Eshkar公司对Percipio耳机的贷款和技术协助。还要感谢Stephane Natkin对本文初稿的评论。

参考文献

1.Bederson,博博。音频增强现实:一个原型自动导游。参见:《计算机系统中的人的因素》，CHI 1995，第210-211页。ACM出版社，纽约(1995)

2. Jacomy B。:《plip的年龄:创新技术纪年》，巴黎(2002)

3.Delerue, O。Warusfel, O。:在Listen项目上下文中创作虚拟声音场景。摘自:AES第22届国际会议论文集(虚拟、合成和娱乐音频)，第39-47页。AES出版物，纽约(2002)

4. Oppermann, R。Specht, M。:一个上下文敏感的游牧展览指南。:托马斯P。、Gellersen H.-W。(eds)。HUC 2000。《LNCS》，1927卷，第127页。施普林格,海德堡(2000)

5.Randell C。、价格、S。哈里斯E。菲茨帕特里克,G。:环境喇叭:设计一种新颖的基于音频的学习体验。个人与泛在计算杂志8,177 - 183(2004)6。Wakkary, R。:位于一个有形的界面和自适应音频博物馆指南播放。个人和泛在计算杂志11,171 - 191 (2007)

7.Natkin, S。Schaeffer F。托波尔,。:虚拟声音空间系统分布式和移动体系结构的功能规范。In: ICMA ICMC 2001, La Havana, Cuba(2001年9月)

8.Damala,。Cubaud, P。Bationo,。Houlier, P。Marchal,我。:弥合数字和物理之间的差距:为博物馆参观设计和评估一个移动增强现实指南。摘自:第三届ACM国际娱乐与艺术数字与互动媒体会议，第120-128页。ACM出版社，纽约(2008)

9. 普拉多博物馆,C。Natkin年代。LISBOA:交互式音乐装置的脚本语言。参见:第四届音乐与音乐计算大会，SMC 2007，第50-56页。雅典大学，雅典(2007)

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[18646]，资料为PDF文档或Word文档，PDF文档可免费转换为Word