1. 研究目的与意义（文献综述包含参考文献）

摘要
　　　”听之障”#8212;声音可视化图形及创意应用设计是通过对听觉障碍者感知声音状态的了解，从而设计出含有新的视觉符号的创意作品的虚拟课题。首先，利用计算机辅助设计及多媒体技术等方法来展现，将选取的两种声音频率线条化、具象化，通过点线面形成的规律或错乱的画面来表现四种听觉状态。其次，使用两种表现方式将画面以空间的状态呈现出来，以此使大家通过画面更加了解听障者的听觉状态，并且使听障者通过画面或空间来了解声音，弥补听力的缺失。最后，形成一系列的文化衍生品投入到聋哑中小学实际的教学应用中。。
　　　关键词：听觉障碍 声音可视化 点线面 图形设计
　　　
　　　
前言
　　　图形是无国界的，是世界都能通用的语言。它是运用绘画的手段对文字所表达的思想内容做艺术形象化的解释，以视觉语言表达文字的精神和内涵，是一种视觉传达工具。它具有相对的独立性，又具有必要的从属性。图形是视觉传达艺术中的一种表达形式，不同图形的形态都代表着不同的寓意，按照一定原理进行解构，重组，形成了具有特色的视觉符号元素，从而构成多种理想的视觉形式的图形。声音可视化是在遵循视觉传达设计原理的基础上进行的。通过给抽象的声音赋予形象，将一系列的物理声音和情感声音进行特殊的视觉实现，运用图形形状、色彩、质感形成的视觉刺激和节奏韵律进行匹配。这是一种新的可视化技术，建立在数字媒体的基础上的有关图形图像的新研究。
　　　本课题试图研究不同听觉状态，运用不同的表现手法将抽象的声音内涵与现代多媒体技术相互融合，进行不同听觉等级的声音可视化对比，构成具象的艺术样式，给人以无限的联想，传递出一个崭新独特的的简洁的视觉形象。

一. 选题相关概念与定义
　　　1.选题定义
　　　声音可视化，是指一种以视觉为核心，以声音为载体，以大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释声音内容的、视听结合的大众化传播方式。而声音可视化设计是一种将声音频率经过图像处理来呈现出一种多样性的可视化的视觉形式。通过计算机辅助艺术设计和绘制对由基本几何元素，点、线、面、体构成的纹样进行条理性反复变换或位置的交叉组合、排列、旋转和对称布局与色彩变化等, 从而产生各种图形。
　　　2.选题概念阐述及形成
　　　 ”听之障”#8212;声音可视化图形及创意应用设计是一个以两种听觉状态为载体的自拟设计课题。众所周知，听觉障碍又称听觉受损，是指感测或理解声音的能力的完全或部分降低，深度的听觉障碍一般会称为聋。本课题是在图形思维的引导下，从视觉的角度去感受声音律动的意境，根据四种声音状态（正常、一级、二级与三级）感知的物理声音的不同，将其进行特殊的视觉呈现，并且赋予一定的情感，实现声音现象的物质（图形）转换，从而进行可视化的对比的设计。
　　　视觉与听觉是人类感知外部世界最重要的通道，通过各种视听感官认知外部世界，”观看”和”聆听”是最自然、最直接、也是最重要的手段。眼睛像镜头，耳朵如收音器。传统的方式常用频谱图或波形图进行声音可视化。声音的频谱图是指某一单音信号通过物理方式的转换，获得的以振幅（即音量大小）为纵轴，频率为横轴的频率成分分布的图像。多数声音可视化也都是采用类似的方式对每个时间片采样到的数据进行可视化。音频处理软件中使用的音频波形图也是一种声音可视化，它能让人一目了然地对整个音频额走势和特征有大体的掌握，但更适用于数据处理和分析，缺少动感和观赏性。听障者不能直观地感受声音，通常利用”通感”使感觉转移。所以，声音可视化对于听障者有重要意义，不仅弥补听力的缺失，更在于通过画面来感受尝试正常人能感受到的美好。
　　　3.选题目的及意义
　　　课题的目的则是借助多种新媒体技术等媒介，通过画面、影像来诠释声音内容。通过研究视觉和听觉艺术语言的形象结构和概念审美的共通性，实现两种语言结合引起大众感官感知的共鸣。听障者由于听力的缺失，不仅影响日常生活而且少了很多乐趣，简单的一句话在他们的听觉世界里变得模糊不清。因此，将声音可视化对听障者尤其重要。借用音乐观念的情感传递，加强图形符号的情感声音，以此提高视觉设计的信息传达力和感染力。在视觉创造性思维引导下，为数字时代全方位感知世界的实验提供了一个新的视角。
　　　 本课题将挑选一系列大众所熟知的声音进行实验性设计（例如一句话”你好吗”或者一段音乐等），将声音频率特征和点线面融合并赋予有趣味的视觉效果，形成系列化的声音可视化创意图形设计作品。

二．选题历史发展状况回顾
　　　声音可视化图形设计即是将声音和图形设计结合在了一起，这种结合算不上创新，早在几年前就已经有人对此做了深入的研究。
　　　1.国内研究现状
　　　在国内，现代的艺术家和学者注意到音乐与视觉图像的密切关系。艺术理论家姚以让的轮作《声与色的交响》中对绘画与音乐的具体关系进行了详述，并提出也许通过视听艺术的综合审视，更能揭示艺术的内涵。艺术家谭盾的有机音乐会也是超越传统形式之上的视听盛宴。目前，从视觉艺术角度出发的声音图形研究还停留在有限的范围之内。
　　　2.国外研究现状
　　　（1）音乐图形实验
　　　在西方，很多学科领域对于视觉与听觉艺术的关系一直非常关注。很多艺术家和设计师进行了音乐图形实验。例如，美国著名实验音乐作曲家、作家、视觉艺术家约翰#183;凯奇（john milton cage）的乐谱实验（图1.1），融合了文字内容，是语言与音乐的构成。洛杉矶的视觉音乐机构（center for visual music）是世界上最大的视觉音乐资源收集机构。image savant艺术工作室一直在进行视觉音乐图形和数字动画的创作，利用计算机图形生成系统绘制了大量音乐韵律般的迷人的图形（图1.2及1.3）。这些图形为视觉设计的滋生和革新创造了新的生命。
　　　　 (图1.1)
　　　　(图1.2,1.3）
　　　（2）声音可视化方法
　　　可视化的方法有以下几种。图2.1所示的是可视化是用一个正十边形的雷达图将音频的领域由高到低分成十个部分，并将音频数据映射到其中，反应每个部分的能量大小，数字标号示意了由低频到高频的排列顺序。这种可视化方法利用了不同音源发生频率不同的原理。图2.2展示了其中两个在网页中将雷达图放在艺术场景中进行观赏的情形。将绘制路径颜色和背景相搭配，在播放音乐的同时进行绘画。图2.3所示的可视化是对当前时刻的频率进行采集、计算并以顺时针扫描的方式进行绘制。每个瞬间在画布上留下的痕迹拼凑起来可以像拼图一样展示出一幅比较完整的画卷。
　　　　
　　　　
　　　（3）总结
　　　综上，从很多大型设计交流网站上的图形设计作品可以看出，图形设计也逐渐趋于成熟。为了跟紧时代的步伐，本自拟课题以听觉障碍为主题进行实验性的四种听觉状态的可视化的创意图形对比设计。纵观设计史，很少有设计作品能把日常的声音特征等信息通过视觉形式表现出来，这也是选此主题的原因之一。
　　　

三．选题现状及展望
　　　自古以来，声音一直被认为远不止一种只是使耳朵愉悦的东西。每个人都会对某种特定的音乐产生一定程度的情感变化，那对于听障者来说，无论是怎样的声音在他们听来都是混乱、模糊、甚至嘈杂的，因为他们无法感知正常的声音频率。
　　　（1）现状
　　　人类思维的延伸引领者科技的不断发展，声音可视化随着数字技术的日新月异变得日趋多样化。艺术家和设计师们在以意料不到的方式展现视听艺术融合的可能性。可是，即使在具备了数字化工具，我们仍然在很大程度上忽视了声音的神秘特性。声学不仅仅是建筑空间中的隐喻或技术。凭借数字化工具的巨大范围，声音和空间的合并方式是无限的。
　　　（2）展望
　　　人类思维的延伸引领者科技的不断发展，声音可视化随着数字技术的日新月异变得日趋多样化。艺术家和设计师们在以意料不到的方式展现视听艺术融合的可能性。可是，即使在具备了数字化工具，我们仍然在很大程度上忽视了声音的神秘特性。声学不仅仅是建筑空间中的隐喻或技术。凭借数字化工具的巨大范围，声音和空间的合并方式是无限的。
　　　（3）经典案例
　　　美国艺术家robert howsare发明了一种利用两个唱机制作的一种非传统的版画设备。虽然方法很简单，但它产生了相当强大的视觉效果，非常类似于那些谐波记录器。
　　　
　　　声学工程师马克#183;费舍尔利用一些特殊的技术将鲸类和海豚的歌声变成一种可视化的美丽图案，而且该技术可以比传统的鲸之歌可视化技术捕获更多的声音信息。
　　　
　　　 新西兰实验音乐人nigel stanford在其作品cymatics的mv中将声音的波动可视化，利用水、粉末、火、电流将声音表现成不同形态。
　　　
　　　
　　　　
　　　德国cymatics实验室做的互动装置实验，研究声音的可视化与震动。项目叫做sonic water,可以运用沙、水、火、电、铁磁流体、等离子球等受声波影响产生震动，从而将声音可视化。
　　　
　　　
　　　（4）结论
　　　声音可视化这个选题目前随着科技的发展实现性越来越高，表现性也越来越强，所以这个课题在未来是有很好的发展的。同时，我选取了听障者这个对象，也使选题更加地现实化，人性化。
　　　

2. 研究的基本内容、问题解决措施及方案

一.研究问题：
1.如何更好地借助声音装置设计出一系列的声音画面
2.如何将听障者的心理状态和感知通过图形设计展现出来
3.如何将正常人与听障者的声音状态对比更贴切形象
4.如何将最终的设计成果投入到实际应用中
二.设计内容：
1.利用计算机辅助设计及多媒体技术等方法，将选取的两种声音频率线条化、具象化，通过点线面形成的规律或错乱的画面来表现四种听觉状态。
2.使用两种表现方式将画面以空间的状态呈现出来
3.形成一系列的文化衍生品投入到聋哑学校实际的教学应用中
三.设计目标：
1. 通过对听障者听觉状态的研究，并了解听障者的情感诉求，对抽象的声音进行设计、给设计提供研究建议。
2. 借助声音装置，结合AE软件后期制作，形成一系列独特的视觉图形创意设计。
四.本课题主要的设计方法：
1.借助网络了解各种声音形态以及表达方式，结合自身优势，形成自己的设计风格。
2.图书馆查阅有关资料以及对其相关的平面构成、艺术设计方法有关的书籍。
3.通过尝试、设计草图来筛选有内涵更具有代表性的声音，将选好的声音进行四种声音状态设计。
4. 采用手绘、声音装置和计算机辅助设计技术方式，利用计算机技术对手绘效果进行适当修改完善。
5. 融合以上声音画面，并选取典型的声音赋予有意味的动态化效果；将最后的声音画面以空间等形式展现出来
五.拟解决的关键设计问题
1.力争做到抽象声音与现代设计手段的理想结合，这是提高视觉创意最关键问题。
2. 能够将”听障”本身最核心的听觉美充分展现，找出最适当的表现手法进行视觉创意设计。

六.创新点
为了更好的引发大众的兴趣，创意点不仅仅局限在平面图形中，与大众互动也成了创意的一个重点。不仅在计算机技术上体现”听之障”声音可视化创意图形设计的形式美之外，还通过抽象简化图案对人们的视觉进行冲击，呈现一种更加独特的视觉图形。通过对图形的兴趣，使大众眼前一亮的同时又能向大众传递不一样的听障声音的美。
　
七.设计成果
1.十六个声音可视化作品。
2.一个能和观众声音互动的声音装置。
3.关于声音图形的衍生品若干。
4.设计论文一篇。