探秘VR体验背后的功臣——3D音频技术

听音辨位了解一下。...





VR作为一种新兴科技，能够为用户带来逼真的沉浸式场景体验。为了让用户在虚拟场景中更“入戏”，各大厂商都致力于开发更身临其境的视听解决方案。但我们往往只顾强调优质的视觉体验，而忽略了同样重要的听觉体验。



但作为VR系统的一部分，听觉体验对VR体验带给用户的整体感受同样具有很大的影响。3D音频作为目前普遍用于VR系统的听觉解决方案，旨在满足用户对听觉体验的高品质追求，在虚拟场景中提供360°听觉体验。

为此，小编对目前主流的几款3D音频编辑工具、音频解决方案及3D音频技术进行了整理，以下为具体内容：

作为VR体验音效的编辑工具，3D音频编辑器/平台旨在帮助开发人员，将声源放置在正确的时间线与空间位置上，为用户带来更加身临其境的听觉体验。

THX空间音频平台，端到端通用解决方案

在MWC 2018上，娱乐体验公司THX推出了一款End-to-End（端到端）通用定位音频解决方案，其可根据MPEG-H音频标准对内容进行编码、解码、传输和渲染。该方案支持传统内容、沉浸式内容格式和开放标准，适用于移动、PC和电子消费设备。



THX空间音频平台由内容创建组件和功能组件组成，可优化各种消费设备上的音频播放体验，并将所有功能无缝集成到现有内容创建和分发工作流程中。同时，为确保最大的灵活性和可访问性，THX空间音频平台的组件可独立使用，甚至可作独立的End-to-End音频解决方案。

谷歌沉浸式音频SDK，广泛的跨平台支持

2017年11月，谷歌发布了一套名为“Resonance Audio”的沉浸式VR音频SDK（软件开发工具）。该工具支持Android、iOS、macOS、Linux及Windows等多个平台，兼容Unity等多款3D游戏引擎，能够为360°全景视频、AR/VR内容提供内嵌的高保真立体音效。此外，该工具还可作为软件接口的音频插件，嵌入多种多媒体音乐制作程序中使用。



“Resonance Audio”可以模拟复杂的声音环境，允许开发者控制来自单个声源的声波传播方向，对每个声源的宽度及长度进行编辑。同时，其能自动渲染用户手臂范围内声源的近场效果。当用户与声源的位置变化时，听到的声音大小也产生相应变化（越远声音越小，反之亦然）。

鉴于该工具拥有广泛的跨平台支持，开发者只需设计一种音频方案，即可在多个平台上正常运行。这一功能的实现，得益于高阶Ambisonics（高保真立体声）的数字信号处理算法，在不影响音频质量的情况下，同步数百个3D声源。

Adobe VR音频编辑器，可视化调整声源

2017年10月举行的Adobe Max大会上，Adobe展示了一款名为“SonicScape”的可视化VR音频编辑器。该VR音频编辑器可对来自场景中各个方向和角度的声音，进行可视化编辑，将声源与正确的时间线及空间位置进行匹配。



“SonicScape”的工作原理为：通过在已拍摄好的视频上叠加彩色斑点，来可视化展示音频。而彩色斑点的大小和位置，分别对应其代表的音频的频率、强度及音频在视频中所处的位置。视频编辑人员只需拖拽彩色斑点，将其放置在正确的位置及时间线即可。此外，编辑还可利用“SonicScape”为视频添加新的3D音频。

目前，“SonicScape”只是Adobe设计实验室开发的原型产品，并未以正式产品的形式推出。

目前几款主流3D音频技术，都已可实现基本的“听音辨位”。用户能够在其营造的三维音场中，获得立体环绕的音效体验。

SRS（WOW）音频技术，基于心理声学原理

SRS（Sound Retrieval System）音频技术由SRS公司开发，是最具代表性的3D立体声技术。这种技术基于人耳的生理声学和心理声学原理，利用立体声音响中的三维环绕信息，可显著扩展声场的宽度、高度和深度，使声音变得更加自然、悦耳。SRS WOW是SRS公司针对MP3等新一代的音频格式，而开发的一种音质增强技术。可使用户感觉置身于一个三维声场中，在心理及主观感觉上建立声波的立体感知，再现原声源的方位和空间分布，打造身临其境的听觉体验。

飞利浦LifeVibes音频技术，超低内存占用率

LifeVibes是飞利浦结合多年音频和声学经验，所开发的专业级音效技术。其能以变量译码技术为基础，通过优化算法来还原和改善各种压缩音乐的音质损失，并能在提高音质的同时缓解使用耳机所带来的听觉疲劳。



飞利浦LifeVibes音频技术专为各种音乐数码产品设计，内存占用率极低。其并不依赖于音量和心理声学原理，而是利用超低音增强推进，带来真实出众的听觉体验。其包含C.Sound（Concert Sound）、P.Studio（Pure Studio）、P.Bass（Pure Bass）三种音效，并支持音效/均衡器叠加。

三星DNSe音频技术，完美音效体验

DNSe（Digital Natural Sound Engine）是三星经过6年的时间，采用三星家庭影院系统的5.1音频DSP音响技术，研制出的一款3D环绕立体声音频技术。



DNSe音频技术拥有Dynamic Range Control（动态范围规划）功能，并加强了重音，消除了爆音现象，能够带来更加逼真的临场感。

酷狗3D旋转音频技术，实时变化虚拟声源

3D旋转音频技术由酷狗音乐开发，采用“头相关传输函数”（Head Related Transfer FuncTIon，以下简称HRTF）来对音频技术进行处理，实现实时旋转变换的虚拟声源。以此打造出真实的三维音场，让用户获得360°立体环绕的音效体验，以实现最大化娱乐效果。



但为了确保能够查找到匹配的HRTF数据，从而达到更加真实的播放效果，需要在以人头为球心的球体表面，密集地采集大量HRTF数据。所以，只有配置了大容量存储空间的设备才能适配该音频技术。

小编希望，在VR视觉体验效果被不断提升的同时，3D音频技术的发展也能跟上步伐，为我们带来更优质的视听体验。

本文属VRPinea原创稿件，转载请洽：brand@vrpinea.com

    关注 VRPinea