即将迎接我们的 3D 音频与虚拟现实（上）？

虚拟现实技术现在非常热门，视觉层面的技术难点被相继攻克。但是，想要完全实现沉浸式体验，还应该在听觉上实现3D效果。听觉的3D效果是什么？看电影玩游戏时，什么样的声音体验能让我们心情舒畅？现在这个行业的技术发展到了什么阶段？这篇文章会给你所有的答案。

音频的新技术将彻底改变我们未来玩儿游戏，听音乐，以及看电影的方式。

现在，我简直不敢相信自己的耳朵。我拿着一个浅灰色的方块，在头前来回晃动。我发誓！有声音从这个我在摇晃的小广场里传出来！而且，它是一种类似乐器的音乐，就像一个小喇叭。当我拿着这个小方块走近我的左耳时，一种粗糙的小提琴声瞬间淹没了我的左耳，但如果我把这个小方块逐渐拿走，声音似乎会随着距离的扩大而逐渐减弱。

我把这个方块放在身后，似乎一个弦乐四重奏突然出现在我身后。当我把方块举过头顶时，尖锐的弦音让我头皮发麻。但是你知道吗？实际上，这个小广场一点声音都没有。我听到的声音来自我的耳机。一旦摘下耳机，我所有的幻想都消失了。那个广场是一个安静的普通广场。

我现在的位置在马里兰大学科技孵化器大楼的一个宽敞的房间里，也是8人科技创业公司VisiSonics的办公地址。是他们开发的软件完全操控了我的大脑，让我忽略了真正的声源，挂在耳朵上的耳机。我拿着的灰色方块实际上连接到了另一个设备，这个设备可以跟踪我移动的方块的空间位置。VisiSonics的RealSpace 3D技术通过追踪器发送的空间信息来处理音乐，让听者感觉音乐来自盒子。我刚才体验的产品其实只是这个概念的一个演示，说明现在的软件已经具备了从听觉角度欺骗你大脑的能力。其中最让我惊讶的是，它让我完全忘记了耳机的存在，一切都是那么的自然，神不知鬼不觉！

这正是VisiSonics想要实现的目标。公司希望未来能成为各大游戏厂商争抢的音频引擎提供商，也能在虚拟现实和增强现实的声音部分占据主导地位。事实上，它已经朝着这个目标迈出了一大步。Oculus Rift虚拟现实耳机制造商Oculus VR在去年10月购买了这款RealSpace 3D技术，最近将其集成到Oculus音频软件开发工具套件中。目前，VisiSonics仍在与其他公司进行谈判。该公司创始人之一、马里兰大学计算机科学教授Ramani Duraiswami说：“所谓完美的3D音频技术，就是当你戴上耳机的时候，你完全忘记了耳机的存在。」

但该公司的野心似乎已经超越了游戏和虚拟现实。他说：“我们的最终目标是彻底改变人们通过耳机听音乐和一系列音频的方式！」

VisiSonics 打造 3d 效果的主要方式

当然，我们可以通过自己的能力在三维空间中识别音乐。即使我们闭着眼睛，我们仍然可以指出声源在哪里。我们的大脑非常善于识别这些声音，我们的耳朵就像两个独立工作的耳机。也意味着我们的大脑通过各种线索整合声音信息。比如声音到达我们左耳的时间和到达我们右耳的时间不一样，这样便于大脑识别声音的位置。很难将此功能转移到扬声器或耳机上。

为了创造这种声音的3D效果，其中一种方法就是在你周围传播扬声器，这种方法通常被称为环绕声。有些影院的音响设备也是按照这个来安排的，但是这种方法不适合耳机。如今，移动数字设备的兴起使我们能够用耳机玩游戏、听音乐和看电影。VisiSonic的软件就是通过耳机来打造3D效果。想象一下，当你插上耳机，贝多芬的第九交响曲就在你的耳边响起，闭上眼睛就像在一个巨大的歌剧院里，听着现场的演出，这还是最好的姿势。或者在你的iPad上看恐怖电影，坏人似乎从你身后跟进.

VisiSonics首席软件工程师Road Haxton在首批应用中展示了令人惊叹的RealSpace 3D技术。事实上，在过去的一个世纪左右的时间里，这一直是音频工程师们一直在努力克服的技术难题。以前大多数时候，他们都是先模拟一个人的头部，然后把耳机放在假头两侧的耳朵里，再录制音频，希望能真正还原我们耳朵接收声音的方式。

VisiSonics找到了另一种方法，可以绕过“模拟人脑”这种愚蠢的方法，通过软件实现过去一个世纪人们想要实现的目标。一般来说，如果要确定声源的位置，我们通过转头仔细分辨接收声音的变化，从变化中找出声源的位置。了解这一点对于虚拟现实和增强现实来说非常重要，虚拟现实和增强现实可以让人们完全沉浸其中，因为在这种环境下，你不仅需要确定声源的具体位置，而且整个环境带来的声音也会随着你头部的移动而不断变化，这将大大增强沉浸感。

这个软件也代替了房间在声音传递过程中的作用。一般来说，发出声音后，它会在房间里振动并产生回声。可能很微妙，你不会注意到。

意到。你所听到的不仅仅是最原始的声音，而且还有从墙壁、家具以及房间其他物品上面产生的回响。这些回响震荡对于确定听者以及声源之间的距离非常有帮助，传开发者_JS百科递出来了一种位于三维空间的感觉。这款软件就能够替代房间对于声音的加工作用，也正因为如此踩会使得音响 3D 变得如此的逼真。Duraiswami 表示：最关键的就是软件复制这些回响的精确度。

Duraiswami 的软件第三个重要的组成部分是在声音进入你耳道之前，模拟出来了从某个特定方向传播过来的声音与你身体的交互方式。声音传递的方向不同，它从人的头部，身体以及嘴唇还有外耳轮廓反射的方式也是有着细微的区别的。科学家将这种效果起了一个名字「Head-related transfer function」(简称为 HRTF，中文即是与头部有关的声音传播方式）如果你真的想要让人感觉声音是从某个特定的方向传播过来，那么你就必须利用 HRTF。

说回到本文开头所做的那次实验，就我的大脑而言，我真的觉得经由 VisiSonics 处理过的声音，那个从我的耳机发出来的声音其实是来自我手里拿着的灰色方块。Duraiswami 表示：「所谓三维音乐，就好比是一个三条腿的凳子，如果一条腿缺失了，那么这个效果就消失了。」

在下一章节，我们将再举出 RealSpace 3D 技术的应用案例，让你尽可能的去体会这项技术的奇妙之处。另外，我们还会追溯历史，告诉你 VisiSonics 这家初创公司成长的历程，它是如何从一个默默无闻的小公司发展成为如今炙手可热，各大公司竞相追逐的目标的。