面向用户体验的虚拟现实视频的编码策略研究文献综述
2020-04-27 23:20:54
近年来多媒体在世界范围内的普及众所周知,过去影像只能存储在胶片、音频只能存储在磁介质上的时代已经一去不复返了,如电影制作中,数字摄影机以其携带的便捷性、安全性和进行艺术创作时的高度自由,已在二十一世纪初渐渐代替传统的胶片摄影机,随之而来的问题便是其大容量存储和传输的技术问题,由于影视制作和音乐制作渐渐趋于高品质,数字影视的清晰度逐渐由标清(SD),高清(HD),全高清(FHD)乃至超高清(UHD)。如何将如此大容量的多媒体文件进行合适的编码、压缩,占用较少的存储空间、保证多媒体的质量以提供高品质的用户体验,是目前多媒体编码的研究关键所在。
在网络普及的互联网时代,逐渐流行起网络直播,视频、语音通话以及在线的网络游戏等,这些应用推动形成了巨大的市场,刺激着网络容量和速度等的不断创新。但是由于带宽有限,传输过程中也都会或多或少的出现数据的丢失,因而如何在高度动态的网络条件下为用户保证最佳的体验是目前亟待解决的问题。
实际上,3D电影很早的时候便伴随着2D电影出现,世界公认的第一部3D电影是1952年拍摄的《非洲历险记》,随后3D电影便成为热潮,直至2004年第一部IMAX 3D电影《极地特快》、2009年的《阿凡达》的出品,3D电影真正为影视所接纳,成为大众广泛接受的一种新潮媒体形式。3D视频的编码和传输技术难度又远高于2D电影,它是由两种不同视觉角度拍摄的画面组合而成。及至如今技术还未完全成熟的VR视频,其复杂度更是难以想象,它不仅是3D的,还能360度旋转观看,甚至还能在场景中自由走动观察,然而如今真正的VR视频却只能通过CG实现。
无论是音频,2d视频还是虚拟现实视频,它们的目的终归是为观众提供身临其境的视觉体验。3D视频相比2D视频,包含着更多视点的纹理图和深度图,数据量难以想象,它和虚拟现实视频的出现,给存储空间和传输带宽带来巨大的压力。为有效地去压缩和传输多媒体文件,在世界范围内进行了持续的努力。在面向用户体验的虚拟显示视频的编码策略研究,对多媒体的用户体验质量进行准确的评估,针对出现的问题提出有效的解决方案,有利于未来虚拟现实视频的发展。{title}2. 研究的基本内容与方案
{title}2.1 基本内容及目的
该课题研究的基本内容是研究现有编码机制和传输策略下用户的体验,使用虚拟现实视频编码软件对视频进行编码,进行评价视频质量,通过在动态网络波动情况下使用不同的编码、码率、帧率,验证现有传输策略应用在虚拟现实视频中的合理性,据此提出适合网络情况的优化视频传输方案,以此来提供高质量的用户体验。
2.2 研究的基本原理
在语音和视频的编码策略研究中,首先需要关注的是编码。其中语音编码包括有ITU-T标准语音编解码器和非标准编解码器,代表性的编解码器如作为PCM格式编码的ITU-T G.711,它的频带不宽,但可以确保发起呼叫,又如具有很高的语音质量同时延迟很低的ITU-T G. 729,以及属于第二代蜂窝移动通信技术的GSM,还有具有更高的音频质量和更低的延迟的Opus编解码器,它支持从窄带到全频段的音频带宽,也具有良好的鲁棒性丢失率的数据包丢失隐藏。视频编码中包括有2D视频编码和3D视频编码,主要有使用已久的MPEG-1, MPEG-2,以及如今广泛使用的H.264,它能够满足较低存储要求和较高的画面质量,还有相比H.264具有更高压缩率和视频质量的H.265。
编码作为多媒体传输的开始过程,后续重要的过程便是将媒体内容传送到目的地的传输过程,在传输多媒体流时要是要用许多传输协议如TCP,UDP,RTP,DASH等,TCP确保两个对等体之间可靠的传送,UDP则能够节省时间以便及时传送,RTP基于UDP构建,和UDP用于语音和视频的传输,DASH由于将内容分解成一系列小的基于HTTP的文件片段,因而可以实时捕获内容,用于在线直播或视频、语音聊天等。
在多媒体进行传输时,数据传输总会出现空洞,造成丢包,为减少网络损伤对多媒体质量的影响,在丢包处理方面已研究出许多新的方法如新型的无反馈早期VoIP质量适应方案、丢包隐藏技术、损失延迟适应以及不对称编码等。