游戏中的空间或 3D 音频



我们耳朵软骨中的节点和耳脊是有进化基础的。声波在耳朵内部以某种方式反射,这取决于声音从哪个方向到达它们。音量变化的感觉是声音到达耳朵时发生的积极性和消极性干涉的结果。这意味着不同的声音元素在不同的时间到达耳朵,耳朵的物理结构以某种方式抑制或放大它们。声音的相位是由声音到达耳道的路径决定的。每个方向的相位差和音量变化都不同,频率也会影响它们。此外,头部大小和头部形状也是感知差异的一个因素。

 

当我们想到立体声音频时,它充当声音的平面,其中必须通过音量变化、回声等进行 3D 模拟距离,以创建声场的 3D 属性幻觉。在 3D 音频中,实际单声道或单声道声音文件放置在听觉范围内,使声源可以精确定位到球状声场上的某个点。因此,声音可以出现在播放器的下方、上方或侧面。单声道音频就像一个点状声源,没有像立体声那样宽的可听声场,因此可以在 3D 声音阵列中进行准确追踪。

 

 138-1.jpg

环绕声

 

 

描述空间音频、3D360 音频的最简单方法是,它是一种体验声音的方式,因此听觉结果会根据观众的头部或POV(视点)的移动而有所不同。它使用环绕声,两声道,或模型算法,以达到预期的效果。环绕声是一种多声道环绕声格式,可让您听到完整的声音范围,因此当包括双声道立体声中听到的传统水平声音平面时,声源也可以位于听者的下方和上方. 它是一个三维的声音平面,由三个M/S(中/侧)立体声麦克风组构成,此外,它还包括用于定义声音高度和深度的不同通道。

 

 

 138-2.jpg

双耳“人头麦”录音

 

 

双耳音频及其录音背后的想法是,它利用两个麦克风为听者创造一种三维的感觉,因此听起来就像是和音乐家在同一个房间。对于一对音箱来说,它并不实用,而是渴望使用耳机将声音完全传递给听众的耳朵。为了录制双耳声音,需要一个“人头麦”,这是一个人体模型的头部,每个耳朵里都安装有麦克风。这种双耳产品例如 Neumann KU-81 KU-100。这项技术可以用于游戏的电影和预制音轨,但是除此之外,它没有提供像3 d 软件那样广泛的应用,至少在游戏中是这样的。它被用在 IMAX 电影中,为观众提供可听级别的3 d 体验。

 

 

 138-3.jpg

三维音频效果(模型算法)

 

 

考虑到 360 度视频与 360 度音频匹配时,导致沉浸式体验的故事讲述主要可以在听觉层面上完成。如果音频中没有有趣的信息,或者听觉信息不随视觉移动,则仅存在视频往往会使观众很快厌烦。如果不想使用上述任何一种技术来创建空间化音轨,那么市场上有大量 360 度麦克风以及许多价格区间。

 


138-4.jpg

PS53 d 音频

 

 

目前,3D音频最有趣的例子之一来自PS游戏机,索尼在2020年末发布的下一代 PlayStation 5也增加了玩家喜爱的3D 音频。索尼公司宣称,玩家甚至可以感知到在他们进入的不同环境中降落的雨滴。3D 音频是一种高度身临其境的声音格式,因为玩家可以听到声音,就好像它们会在你周围发生一样。因此,它将玩家置于聚光灯下,并为游戏玩法增加了更高的强度。

 

 

3 d 音频中,声音引擎使用特定的音频算法来生成逼真自然的声音场景,在这种场景中,人们可以非常准确地识别声音及其来源。在他们以前的 psvr-耳机,声源复制被限制在50个来源与可接受的质量,而 PS5 将标准提高到数百个,并且质量也非常出色当场景现在也可以围绕高度交互的音频格式构建时,声音设计师将获得更多创意工具来使用。

 

 

PS5 技术是基于对象的,因此这意味着所有声源都必须以单声道录制才能获得良好的独立声音可听度。目前,您可以通过耳机享受 PS5 的最佳 3D 音效,索尼有专门优化的 Pulse 无线耳机,但其他耳机在插入带有耳机插孔的控制器时也能正常工作。他们将首先专注于为耳机提供声音,但未来会出现音响系统应用。

 

 

PS5

 

Tempest Engine 是一款硬件芯片,用于 PS5 中将单声道音频输入信号的坐标处理成 3D 音频输出信号。它使用HRTFHead-related Transfer Function解码个人耳朵接收声音的方式。该芯片及其内置的模型算法对声音在方向和频率方面的变化方式进行解码,并将上述有关听力的因素也考虑在内。考虑到这一点,它还真实地考虑了声音的指向性,并根据玩家的头部动作进行调整。当玩家向某个方向移动头部时,音频会移动。

 

该引擎允许在不需要昂贵的环绕声系统的情况下完成此操作。索尼有计划开发并有可能使用 100 多个配置文件,以便更轻松地优化声音设置。每个人都有一个单独的 HRTF,但这些配置文件至少让我们能够非常接近。根据 PS5首席架构师Mark Cerny 的说法,Tempest 甚至允许普通的立体声音频具有额外的维度。

 

支持3D 音频的 PS5游戏包括: 漫威的蜘蛛侠: 迈尔斯 · 莫拉莱斯,漫威的蜘蛛侠重制版,宇宙机器人,GT赛车7,死亡回归,毁灭全明星,恶魔之魂,瑞奇与叮当:时空跳转,麻布仔大冒险,地平线2:西部禁域,和生化危机8:村庄。

 

 

PC 和其他游戏机

 

 

2004年的军工项目开始,并逐渐将业务范围转向游戏音频和消费电子产品,nahimi (N Array Headphone Integrated MICrophone 的缩写)已成为基于 pc 的游戏行业的市场领导品牌。该软件解决了许多日常问题,比如 Skype Zoom 通话的质量,Netflix 流媒体电影的对话框,或者Spotify播放的音乐的音质。。它既不需要昂贵的设备,因为它可以针对任何类型的设备进行优化,无论用户有耳机还是只使用一对立体声扬声器。它凭借其为 360° 视频集成创造身临其境的声场的设计赢得了多个奖项。

 

 

 138-5.jpg

Nahimic 3

 

另一个创建空间化声场的解决方案是 THX Spatial Audio,它内置在许多游戏笔记本电脑、耳机和智能手机中。对于后者,他们甚至有一个专门的应用程序,成本约20美元在他们的网上商店。许多计算机本身也支持杜比全景声 (Dolby Atmos)。在杜比全景声 (Dolby Atmos) 中,高度声道被添加到扬声器阵列中,因此耳朵将来自这些的声音感知为 3 维物体。这种环绕声技术于 2012 年发布,从此成为电影行业的工厂标准,当时许多高端电影院的扬声器系统都专门用于产生 3D 音频的效果。如今许多智能手机也支持这种格式。

 

 

Xbox X 系列支持 Dolby Atmos(也在Xbox One 上)、DTS:XWindows Sonic 中的游戏。在 X 系列中,有 Atmos 的耳机实现,因此您无需发烧友级别的音频系统即可享受身临其境的音频体验。DTS:X 使用类似的技术,还有另一种称为Auro-3D 的沉浸式格式与 Atmos 音频竞争。Windows Sonic 是一款免费的耳机优化空间音效软件,兼容 Windows 10 以上操作系统。它适用于任何耳机,因此它是为游戏添加 3D 音频的最廉价解决方案。

 

 

任天堂Switch不支持空间音频,但支持多通道环绕式5.1系统。不过,这可能会随着他们后续推出的主机而改变。

 

 

 

苹果空间音频

 

 

作为对沉浸式音频日益增长的兴趣的回应,苹果创造了自己的概念。苹果空间音频目前只能通过 AirPods Pro Max 享受。它支持一系列的应用程序,尽管它缺少一些最流行的流媒体服务,如 NetflixAmazon Prime YouTube。这个想法是使用 AirPods 中的加速度计和陀螺仪来精确跟踪用户的头部运动。同时,该技术正在跟踪您用于观看的手机或平板电脑的位置,从而将声音与设备屏幕相关联。

 

 

360音频混音

 

 

空间化音频及其混合的基础是听者在听声音时能够精确定位声源的方向和位置。在 360 音频中,必须有导致可听提示改变的用户头部运动的附加概念。

 

DAWs 或数字音频工作站,如 ProTools 已经支持 ambisonic VR/360音频在他们的最新版本。还有一个免费的音频空间化插件叫做 Ambisonic Toolkit (ATK) for Reaper,这是一个免费的低成本音序工作站,适用于 Windows Mac 用户。它甚至有60天的免费试用期。甚至 Ableton Live 也有自己的免费工具,用于 VR AR 和空间3 d 音频,称为 Envelop for Live E4L。它已经可以在他们的 DAW 的第二个最新版本中使用,即 Ableton Live 10

 

 

 138-6.jpg

360 Spatial Workstation + Pro Tools

 

 

Facebook 360 是沉浸式音频设计师的另一个有趣的工具包。该软件允许一个空间化的音频到360视频和电影虚拟现实相似,但只能用于专业工具许可证。它的插件得到了几个流行的 daw 的支持,而且是免费的。此外,Gaudio Lab 公司为不同的平台提供了许多免费的解决方案。

 

 

例如,在 Pro Tools 中,这可以通过使用 FB360来实现,FB360有几个插件可以自动输出双耳音频。用户必须导入各自的声音文件,并根据视频中发生的动作开始空间化这些点。该插件允许实时跟踪移动并自动输出,因此这种方式非常方便。FB360提供了高水平的参数自动化,虽然在复杂的音频处理和空间化项目也需要更多的调整,但足以创造一个自然的探空

 

概括

 

 

3D 音效正越来越多地渗透到游戏体验中。游戏玩家希望在更身临其境的水平上体验游戏,而从立体声音频中平坦的声音过渡到可以将单个音频线索跟踪到原点的环境是惊人的。还允许更深层次的交互感,让玩家成为声源的探索者,可以说 3D 音频就在这里。

 

 138-7.jpg

苹果空间音频

 

 

游戏机以及游戏笔记本电脑已经非常快速地采用了这种音频格式,以满足玩家的需要。在未来几年,当处理器芯片的计算能力达到新的高度时,解决方案将继续进步。众多不同的插件和平台是惊人的,因此,未来将需要一个通用的格式,以增加协同和流的处理。

 

从声音设计师的角度来看,空间音频提供了工具,以提高叙事的可听水平,这是一个独立的和丰富的叙事层。对于360音频的混音相对容易,许多 DAW 插件,这个过程允许高水平的自动化,并且很容易开始。