摘要
　　　”听之障”#8212;声音可视化图形及创意应用设计是通过对听觉障碍者感知声音状态的了解，从而设计出含有新的视觉符号的创意作品的虚拟课题。首先，利用计算机辅助设计及多媒体技术等方法来展现，将选取的两种声音频率线条化、具象化，通过点线面形成的规律或错乱的画面来表现四种听觉状态。其次，使用两种表现方式将画面以空间的状态呈现出来，以此使大家通过画面更加了解听障者的听觉状态，并且使听障者通过画面或空间来了解声音，弥补听力的缺失。最后，形成一系列的文化衍生品投入到聋哑中小学实际的教学应用中。。
　　　关键词：听觉障碍 声音可视化 点线面 图形设计
　　　
　　　
前言
　　　图形是无国界的，是世界都能通用的语言。它是运用绘画的手段对文字所表达的思想内容做艺术形象化的解释，以视觉语言表达文字的精神和内涵，是一种视觉传达工具。它具有相对的独立性，又具有必要的从属性。图形是视觉传达艺术中的一种表达形式，不同图形的形态都代表着不同的寓意，按照一定原理进行解构，重组，形成了具有特色的视觉符号元素，从而构成多种理想的视觉形式的图形。声音可视化是在遵循视觉传达设计原理的基础上进行的。通过给抽象的声音赋予形象，将一系列的物理声音和情感声音进行特殊的视觉实现，运用图形形状、色彩、质感形成的视觉刺激和节奏韵律进行匹配。这是一种新的可视化技术，建立在数字媒体的基础上的有关图形图像的新研究。
　　　本课题试图研究不同听觉状态，运用不同的表现手法将抽象的声音内涵与现代多媒体技术相互融合，进行不同听觉等级的声音可视化对比，构成具象的艺术样式，给人以无限的联想，传递出一个崭新独特的的简洁的视觉形象。

一. 选题相关概念与定义
　　　1.选题定义
　　　声音可视化，是指一种以视觉为核心，以声音为载体，以大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释声音内容的、视听结合的大众化传播方式。而声音可视化设计是一种将声音频率经过图像处理来呈现出一种多样性的可视化的视觉形式。通过计算机辅助艺术设计和绘制对由基本几何元素，点、线、面、体构成的纹样进行条理性反复变换或位置的交叉组合、排列、旋转和对称布局与色彩变化等, 从而产生各种图形。
　　　2.选题概念阐述及形成
　　　 ”听之障”#8212;声音可视化图形及创意应用设计是一个以两种听觉状态为载体的自拟设计课题。众所周知，听觉障碍又称听觉受损，是指感测或理解声音的能力的完全或部分降低，深度的听觉障碍一般会称为聋。本课题是在图形思维的引导下，从视觉的角度去感受声音律动的意境，根据四种声音状态（正常、一级、二级与三级）感知的物理声音的不同，将其进行特殊的视觉呈现，并且赋予一定的情感，实现声音现象的物质（图形）转换，从而进行可视化的对比的设计。
　　　视觉与听觉是人类感知外部世界最重要的通道，通过各种视听感官认知外部世界，”观看”和”聆听”是最自然、最直接、也是最重要的手段。眼睛像镜头，耳朵如收音器。传统的方式常用频谱图或波形图进行声音可视化。声音的频谱图是指某一单音信号通过物理方式的转换，获得的以振幅（即音量大小）为纵轴，频率为横轴的频率成分分布的图像。多数声音可视化也都是采用类似的方式对每个时间片采样到的数据进行可视化。音频处理软件中使用的音频波形图也是一种声音可视化，它能让人一目了然地对整个音频额走势和特征有大体的掌握，但更适用于数据处理和分析，缺少动感和观赏性。听障者不能直观地感受声音，通常利用”通感”使感觉转移。所以，声音可视化对于听障者有重要意义，不仅弥补听力的缺失，更在于通过画面来感受尝试正常人能感受到的美好。
　　　3.选题目的及意义
　　　课题的目的则是借助多种新媒体技术等媒介，通过画面、影像来诠释声音内容。通过研究视觉和听觉艺术语言的形象结构和概念审美的共通性，实现两种语言结合引起大众感官感知的共鸣。听障者由于听力的缺失，不仅影响日常生活而且少了很多乐趣，简单的一句话在他们的听觉世界里变得模糊不清。因此，将声音可视化对听障者尤其重要。借用音乐观念的情感传递，加强图形符号的情感声音，以此提高视觉设计的信息传达力和感染力。在视觉创造性思维引导下，为数字时代全方位感知世界的实验提供了一个新的视角。
　　　 本课题将挑选一系列大众所熟知的声音进行实验性设计（例如一句话”你好吗”或者一段音乐等），将声音频率特征和点线面融合并赋予有趣味的视觉效果，形成系列化的声音可视化创意图形设计作品。

二．选题历史发展状况回顾
　　　声音可视化图形设计即是将声音和图形设计结合在了一起，这种结合算不上创新，早在几年前就已经有人对此做了深入的研究。
　　　1.国内研究现状
　　　在国内，现代的艺术家和学者注意到音乐与视觉图像的密切关系。艺术理论家姚以让的轮作《声与色的交响》中对绘画与音乐的具体关系进行了详述，并提出也许通过视听艺术的综合审视，更能揭示艺术的内涵。艺术家谭盾的有机音乐会也是超越传统形式之上的视听盛宴。目前，从视觉艺术角度出发的声音图形研究还停留在有限的范围之内。
　　　2.国外研究现状
　　　（1）音乐图形实验
　　　在西方，很多学科领域对于视觉与听觉艺术的关系一直非常关注。很多艺术家和设计师进行了音乐图形实验。例如，美国著名实验音乐作曲家、作家、视觉艺术家约翰#183;凯奇（John Milton Cage）的乐谱实验（图1.1），融合了文字内容，是语言与音乐的构成。洛杉矶的视觉音乐机构（Center For Visual Music）是世界上最大的视觉音乐资源收集机构。Image Savant艺术工作室一直在进行视觉音乐图形和数字动画的创作，利用计算机图形生成系统绘制了大量音乐韵律般的迷人的图形（图1.2及1.3）。这些图形为视觉设计的滋生和革新创造了新的生命。
　　　　 (图1.1)
　　　　(图1.2,1.3）
　　　（2）声音可视化方法
　　　可视化的方法有以下几种。图2.1所示的是可视化是用一个正十边形的雷达图将音频的领域由高到低分成十个部分，并将音频数据映射到其中，反应每个部分的能量大小，数字标号示意了由低频到高频的排列顺序。这种可视化方法利用了不同音源发生频率不同的原理。图2.2展示了其中两个在网页中将雷达图放在艺术场景中进行观赏的情形。将绘制路径颜色和背景相搭配，在播放音乐的同时进行绘画。图2.3所示的可视化是对当前时刻的频率进行采集、计算并以顺时针扫描的方式进行绘制。每个瞬间在画布上留下的痕迹拼凑起来可以像拼图一样展示出一幅比较完整的画卷。
　　　　
　　　　
　　　（3）总结
　　　综上，从很多大型设计交流网站上的图形设计作品可以看出，图形设计也逐渐趋于成熟。为了跟紧时代的步伐，本自拟课题以听觉障碍为主题进行实验性的四种听觉状态的可视化的创意图形对比设计。纵观设计史，很少有设计作品能把日常的声音特征等信息通过视觉形式表现出来，这也是选此主题的原因之一。
　　　

三．选题现状及展望
　　　自古以来，声音一直被认为远不止一种只是使耳朵愉悦的东西。每个人都会对某种特定的音乐产生一定程度的情感变化，那对于听障者来说，无论是怎样的声音在他们听来都是混乱、模糊、甚至嘈杂的，因为他们无法感知正常的声音频率。
　　　（1）现状
　　　人类思维的延伸引领者科技的不断发展，声音可视化随着数字技术的日新月异变得日趋多样化。艺术家和设计师们在以意料不到的方式展现视听艺术融合的可能性。可是，即使在具备了数字化工具，我们仍然在很大程度上忽视了声音的神秘特性。声学不仅仅是建筑空间中的隐喻或技术。凭借数字化工具的巨大范围，声音和空间的合并方式是无限的。
　　　（2）展望
　　　人类思维的延伸引领者科技的不断发展，声音可视化随着数字技术的日新月异变得日趋多样化。艺术家和设计师们在以意料不到的方式展现视听艺术融合的可能性。可是，即使在具备了数字化工具，我们仍然在很大程度上忽视了声音的神秘特性。声学不仅仅是建筑空间中的隐喻或技术。凭借数字化工具的巨大范围，声音和空间的合并方式是无限的。
　　　（3）经典案例
　　　美国艺术家Robert Howsare发明了一种利用两个唱机制作的一种非传统的版画设备。虽然方法很简单，但它产生了相当强大的视觉效果，非常类似于那些谐波记录器。
　　　
　　　声学工程师马克#183;费舍尔利用一些特殊的技术将鲸类和海豚的歌声变成一种可视化的美丽图案，而且该技术可以比传统的鲸之歌可视化技术捕获更多的声音信息。
　　　
　　　 新西兰实验音乐人Nigel Stanford在其作品cymatics的mv中将声音的波动可视化，利用水、粉末、火、电流将声音表现成不同形态。
　　　
　　　
　　　　
　　　德国CYMATICS实验室做的互动装置实验，研究声音的可视化与震动。项目叫做Sonic Water,可以运用沙、水、火、电、铁磁流体、等离子球等受声波影响产生震动，从而将声音可视化。
　　　
　　　
　　　（4）结论
　　　声音可视化这个选题目前随着科技的发展实现性越来越高，表现性也越来越强，所以这个课题在未来是有很好的发展的。同时，我选取了听障者这个对象，也使选题更加地现实化，人性化。
　　　

四．总结
　　　”听之障”#8212;声音可视化图形及创意应用设计是通过对听觉障碍者感知声音状态的了解，从而设计出新的视觉符号的虚拟课题。首先，利用计算机辅助设计及多媒体技术等方法来展现，将选取的两种声音频率线条化、具象化，通过点线面形成的规律或错乱的画面来表现四种听觉状态（正常、一级、二级与三级）。其次，使用两种表现方式将画面以空间的状态呈现出来，一方面展现声音的魅力，一方面更形象地表现出听障者的残缺或模糊的听觉世界，以此使大家通过画面更加了解听障者的听觉状态，并且使听障者通过画面或空间来了解声音，弥补听力的缺失。最后，形成一系列的文化衍生品投入到聋哑学校实际的教学应用中。
　　
　　
　　
　　
　　
　　
　　
　　
　　
　　
五．参考文献
[1]宋方圆.声音的视觉装饰#8212;#8212;图形动画教学中声音可视化之探索.[J].2012.9
[2]原研哉.设计中的设计[M].山东人民出版社,2005.
[3]黄莺.杨健.看得见的好声音#8212;#8212;计算机可视化辅助声乐教学之案例分析[J].南京艺术学院学报.2012.11
[4]韩梦娜.电影语言的声音修辞与”可视化”问题.[J].大众文艺.2017.
[5]张艳鹏. 基于多音频特征的音乐可视化设计方法[D].哈尔滨理工大学,2013.
[6]蒋璐璐.平面广告图形设计视觉创新研究[D].安徽工程大学,2010.
[7]朱永明. 视觉传达设计中的图形、符号与语言[J].南京艺术学院学报(美术与设计版)，2004.
[8]柳茗千.辅助听障儿童音乐教育的可视化方法研究[J].教育教学论坛.2017
[9]赵慧臣,郑曼.聋哑学生的可视化教学研究[J].现代教育技术.2013.23
[10]王凯.媒体可视化设计[M].广西师范大学出版社,2015.
[11]王颖.訾力铮.全球现代图案设计[M].机械工业出版社,2012.
[12]苏勋,李志光,罗彬.声音与图像的交互设计#8212;#8212;声音涂鸦[J].大众文艺,2014(18):92.
[13]王增刚,王则灵.在时间域中为声音提供视觉图形的研究[J].音乐创作,2009(03):120-121.
[14]汪家杰.动态图形的形式美与创意流程[J].青春岁月2012年16期,2012.
[15]李晓娟. 初试啼声-声音视觉化的研究[D].中央美术学院,2017.
[16]周利娟.基于情感语义相似度的音乐检索模型研究[D].大连理工大学,2011.
[17]孟妍妍.浅论聋哑儿童音乐教育[J]研究生论坛，2009.
[18]成蒙.从音乐到图形#8212;#8212;音乐信息的可视化研究[D].西安美术学院,2014.
[19]皮艺舟.抽象思维的图形语言表达#8212;#8212;以高校艺术设计专业聋生的图形语言课程为例[J].戏剧之家,2015
[20]韩杰.艺术创作中声音视觉化的异质同构研究#8212;#8212;以动画短片《感觉学》为例[J].艺术探索,2015
[21]Z. Tr#225;vn#237;?ek,A.I. Fedorchenko,M. Pavelka,J. Hruby. Visualization of the hot chocolate sound effect by spectrograms[J]. Journal of Sound and Vibration,2012,331(25).
[22]T. Hristova-Vasileva,I. Bineva,A. Dinescu,D. Arsova,D. Nesheva. ”Cymatics” of selenium and tellurium films deposited in vacuum on vibrating substrates[J]. Surface amp; Coatings Technology,2016,307.
[23]Banu Bulduk. A Workshop Proposal on the Visualization of Sound Concepts[J]. Procedia - Social and Behavioral Sciences,2012,51.
[24]Nevena Popova,Georgi Shishkov,Petia Koprinkova-Hristova,Kiril Alexiev. 3D Visualization of Sound Fields Perceived by an Acoustic Camera[J]. Cybernetics and Information Technologies,2015,15(7).
[25]Daniel Fern#225;ndez Comesa?a,Steven Steltenpool,Graciano Carrillo Pousa,Hans-Elias de Bree,Keith R. Holland,Y. Chen,Y. Zhang. Scan and Paint: Theory and Practice of a Sound Field Visualization Method[J]. ISRN Mechanical Engineering,2013,2013.