目前,随着索尼全面推出其360现实音频服务和苹果音乐开始使用杜比全景声进行空间音频传播,"沉浸式音频"(也被称为3D音频或立体声音频)发展突然势头猛进。
然而,就标准而言,毫不夸张地说,沉浸式音频正处于混乱时期。 不知应不应该直接比较目前这些格式,包括杜比全景声、Auro-3D、DTS:X和360现实音频。
这对用户来说很混乱,对开发商来说也可能也是浪费。 听沉浸式音频有很多方法,比如通过扬声器,通过折叠成双声道,或者使用回音壁,所以对于普通用户来说,越来越搞不懂。
在这篇文章中,我想聊聊在沉浸式音频标准方面的一些有意思的事。
沉浸式音频,每个标准中扬声器位置不同
一段时间以来,我一直在采访索尼公司关于360现实音频的情况,做一下制作现场的报道,并亲自聆听这些声音,我一直在想,如果索尼公司认真对待此事,真的可能会带来一个有趣的世界。
而就在这时,苹果音乐的新功能宣布了。
一段时间以来,一直有传言说Apple Music将提供高分辨率的流媒体音乐,但这次的重大宣布不是关于高清音乐,而是关于无损和空间音频。
苹果的空间音频是自20年秋季发布的iOS 14以来一直支持的一项功能,可以与AirPods Pro和其他设备一起使用,再现三维声音。
根据新闻报道,Apple Music的空间音频采用了杜比全景声技术,Apple Music用户将能从6月开始免费使用这些新功能和内容。 截至6月6日我写这篇文章时,这项服务还没有开始,所以我不知道细节如何。
然而,公告说:"苹果音乐在所有AirPods和Beats耳机上自动播放支持杜比全景声的歌曲,这些耳机带有H1或W1芯片,在最新版本的iPhone、iPad和Mac的内置扬声器上也是如此。Apple Music将不断添加新的Dolby Atmos格式的歌曲,并策划特别的Dolby Atmos的播放歌单,以帮助听众找到他们喜欢的音乐。 此外,支持Dolby Atmos的专辑将在详情页上备注,以便于更容易找到"。
它还称:"订阅用户将能够享受到来自世界顶级艺术家和所有音乐流派的数千首空间音频歌曲,包括嘻哈、乡村、拉丁、流行、古典等。
然而,有趣的是苹果的Dolby Atmos(空间音频)和索尼的360现实音频的数据。
例如,你在苹果音乐和其他音乐发行网站上能听到的大部分音源都是从为CD制作的数据转换而来。 当然,可能在一些情况下,编码或母带为每个服务进行了微调,如为苹果音乐或mora,但这些应该是非常少见的。 其中大多数是对CD制作的数据进行简单的转换,因此听众不必担心细节问题,创作者可以很容易地同时发布到多个音乐网站。 然而,在沉浸式音频的情况下,这就不那么容易了。
为什么? 我认为根本问题在于不同格式的扬声器位置不同。
沉浸式音频,直译为 "身临其境的音频",最近在很多地方都是一个热门话题。
简单地说,它是具有高度扬声器的环绕声环境中的音频。 传统的5.1ch和7.1ch是通过水平安装多个扬声器来聆听的,但沉浸式音频是通过在高处安装扬声器来聆听的。 这就是为什么你可以更立体地聆听,感觉身临其境的声场。
这里的问题是扬声器的位置。 对于传统的5.1ch环绕声,前面(中央)、前面的左和右、后面的左和右以及低音炮的基本配置并没有因为杜比数字或DTS而发生很大的变化,所以很容易使它们兼容。 然而,今天的沉浸式音频标准是完全不同的。
例如,在Auro-3D的9.1ch的情况下,四个扬声器被放置在5.1ch扬声器的前左、右和后左、右的正上方。
Auro-3D的9.1声道布局
另一方面,在苹果音乐采用的杜比全景声的情况下,7.1.2ch的影院,除了环绕7.1ch的配置外,布局是在天花板的左右两边放置两个扬声器。
Dolby Atmos 7.1.2ch布局
就索尼最近全面推出的360现实音频而言,官方还没有公布安装扬声器后的观看情况,目前只能用耳机或经过认证的智能音箱来欣赏,但在生产标准中,有13个通道的布局,没有低音炮。
我找不到关于布局的任何文件,所以我冒昧地根据索尼告诉我的和我前几天在佐藤淳之助工作室看到的情况,自己总结了一个。
这是360现实音频布局,有13个通道的扬声器,没有低音炮。 前置LR的位置与中心呈30度,环绕LR呈110度。
音乐制作人/工程师佐藤淳之助的360现实音频工作室
NHK BS8K的22.2通道也是三层的,有些复杂,但它们的排列方式如下图所示,与传统的5.1ch和7.1ch环绕声兼容(见727部)。
NHK BS8K(超级高清晰度)中使用的22.2ch布局
希望有一个人人都能享受沉浸式音频的世界
沉浸式音频是一个宽泛的词,但当你看一下各种标准时,你会发现参考扬声器的布局各不相同,并不统一。 现实情况是,大多数家庭没有能力安装让传统环绕扬声器更复杂化的沉浸式音频系统,因为只有AV发烧友才有能力这样做。
这就是为什么索尼和苹果都专注于让用户通过耳机听双声道的声音,或者通过使用虚拟环绕技术从简单安装的扬声器收听声音,而不是让他们安装真正的扬声器。
从这个意义上说,用户将能够更容易地体验到沉浸式音频,可以说它甚至比传统的环绕声更容易普及,这是一个可喜的地方。
亚马逊Echo Studio,支持杜比全景声和360现实音频
索尼支持360现实音频的扬声器,SRS-RA5000(右)和SRS-RA3000(左和中)。
然而,耳机中的虚拟环绕声和双耳技术仍处于起步阶段,还不成熟。
在用耳机听双耳声音的情况下,使用头部反馈信息(HRTF)的系统使听到一定程度的真实感成为可能,但要实现这一点,必须测量每个人的头部和耳朵的形状,而且每个人听到的方式有很大的不同。 这并不像它看起来那么简单。
当用耳机听索尼的360现实音频时,HRTF是通过用智能手机拍摄耳朵的形状来测量的,但当苹果在未来扩大兼容产品的数量时,如何确保声音质量将是个问题。
索尼使用360空间声音个性化应用,用智能手机捕捉耳朵的形状,并以此来优化个人的HRTF。
在任何事情上,从生产角度看时,情况是非常不同的。
为了创造沉浸式音频的内容,仅仅转换已经为传统CD混音的歌曲显然是不够的;有必要在支持沉浸式音频的演播室中制作每一首歌曲,并由熟悉它的混音师进行混音。自然,声音的平衡方式在360现实音频和杜比全景声之间会有所不同,因为扬声器被放置在不同的位置,而且使用的工具也会有差异。
索尼和苹果都在投入大量资金,要求世界各地的音乐公司和混音工程师制作内容,所以我认为一些公司将开始在这两方面努力。 然而,我不确定这些公司能持续使用沉浸式音频多久。
此外,当我们观察每家公司的内容时,我们可以看到,他们中的大多数人都是用他们过去的作品制作来沉浸式音频,其中一些人是用已经去世的艺术家的作品制作沉浸式音频,例如大卫-鲍伊。我不知道这是否真的是音乐人想要呈现的。
索尼的360现实音频库(部分)
另一方面,我想知道在目前的双耳技术下,有多少人会对沉浸式音频感兴趣,以及他们是否会认真对待这种声音。 如果听众对它不感兴趣,内容就不会持续增加,如果没有价值的音乐作品太多,其声誉就会下降。
就我个人而言,这是很长一段时间以来音频技术的第一次重大变革,我乐意人们能够通过耳机轻松享受立体声。 但是,我也有很多担忧,比如制造商之间不必要的竞争是否会导致用户疲惫,以及能否创造一个用户能够轻松理解和熟悉的技术。 我希望这件事能向所有人都能享受沉浸式音频的地方迈进。