索尼的“ 360 Reality Audio”会成为“3D音乐”的新趋势吗?


00_s.jpg

如之前报道的那样,索尼宣布在日本全面引进利用立体声技术的音乐体验 "360 Reality Audio" 该公司将于416日开始发行与之兼容的音乐内容,同时将发布用于收听的播放设备和应用程序。


自从2020CES上公布了这套系统后,我就对它充满了好奇,但由于疫情的原因,我没能报道,这次终于可以亲自体验一下了。我印象是,它还处于起步阶段,但这是一个非常有趣的系统,具有很大的潜力。


这究竟是什么意思,它的声音如何,我们如何才能创作出兼容360真人视频的内容?之前已经有很多文章从听众的角度来阐述这个话题,这次我们就从制作方面分两部分来了解一下360现实音频。在本文的第一部分,我向索尼代表询问了一些基本情况,所以我以采访的形式给大家介绍一下。


360现实音响是一种全新的音乐体验,实现了立体声场的效果。


前几天,索尼宣布,拥有让房间充满高品质音乐的全向扬声器系统的SRS-RA5000SRS-RA3000无线音箱将于4月上市,以配合已经在海外开始的360 Reality Audio在日本的全面上市。我参加这次活动时,想知道这些内容是否值得期待。

我实际体验了一下音箱的演示,虽然可以看出声音确实很分散,可听性很强,但这并不是360现实音响的全部。换个角度来说,这两款音箱只是体验360现实音频的简单方式之一,但实际上,这似乎是一项更有深度和潜力的技术。



01_s.jpg

416日将发布兼容360现实音响的无线音箱(左为SRS-RA5000,右为SRS-RS3000)。

 

02_s.jpg

笔者体验无线音箱演示

 

通过耳机播放,我得以感受到360现实音频的世界,但360现实音频到底是什么?我们采访了索尼家庭娱乐与音响产品事业部V&S业务开发部的横山达也和授权业务推进室的泽林佐彦。


03_s.jpg


索尼公司家庭娱乐及音响产品事业部许可事业开发室泽石佐彦(左)和V&S事业开发部横山达也(右)。

 

--首先,你能不能给我们简单介绍一下360的情况?

横山:360现实音响是一种全新的音乐体验,它利用索尼的立体声技术打造了一个立体声场,音源被放置在一个360度的球体上,并且可以以球体的方式移动,让创作者可以自由地、创造性地表达自己。创作者将可以自由地、创造性地表达音乐。我们之前使用立体声扬声器来表达声场,发展到5.1ch环绕声,现在我们可以360度自由表达。你可以用扬声器,也可以用耳机来体验。


--这些与所谓的 "沉浸式音频 "标准不同,如AURO 3D、杜比AtmosNHK22.2ch


泽志:与现有的标准不同,这套系统可以让你从球体的中心听声音,所以最大的区别是你可以从下面听到声音。在测试环境中,参考系统由13个通道的全频扬声器组成:顶部有5个扬声器,横向有5个扬声器,底部有3个扬声器。其理念是通过真实再现在这个环境中创造的声源,例如在扬声器、耳机等播放环境中,提供前所未有的临场感,就像创作者所希望的那样。


横山:我们希望将360现实音频技术授权给其他公司,并作为继单声道和立体声之后的一种新格式广泛推广。


04_s.jpg

--Yokoyama:所以你的意思是说,你们会发布很多内容,但都会使用360现实音频的立体声?


横山:没错。去年我们已经在海外推出了这项服务,现在我们将在日本发行包括日本音乐在内的4000多首歌曲。发行将以流媒体服务的形式在三个发行平台上开始。


15_s.jpg


横山:除了我们已经发布的内容外,亚马逊音乐HD还将免费提供360现实音频兼容数据。这款亚马逊高品质音乐是用于在扬声器上播放的。 deezer是美国和欧洲的知名服务,它于416日在日本推出。两家公司所交付的内容将几乎完全相同。另一方面,"nugs.net "将提供与两家公司完全不同的内容。这将会是原创的内容,因为它将专门为西方音乐的现场表演提供,并且是用英语进行的。它还可用于扬声器、耳机和智能手机。

--扬声器、耳机和智能手机的定义是什么?

横山:音箱是SRS-RA5000SRS-RA3000,将于416日发布。此外,目前共有包括亚马逊Echo Studio在内的三款机型获得了360现实音频音箱的认证。此外,还有33款耳机,包括无线和有线型号。


06_s.jpg

 

横山:对于智能手机来说,安卓和iPhone都是可以使用的。此外,NW-A100系列和NW-ZX500系列随身听也是可以兼容的。通过智能手机的播放可以用任何耳机来完成,但经过认证的耳机可以更准确地重现声场,因为它们使用了头部传输功能。具体来说,就是用智能手机拍下双耳的照片,然后针对人进行优化。对于随身听来说,它并没有摄像头功能,所以你需要使用手机上的360空间声音个性化应用,然后将其中的数据输入随身听。

 

07_s.jpg


所有耳机均可重现360现实音频。

08_s.jpg

优化"(捕捉双耳的形状)是先进的360度声场再现的必要条件

09_s.jpg

利用 "360空间声音个性化 "APP进行优化。

10_s.jpg

 

11_s.jpg

 

按照屏幕上的指示,用户转头自拍耳朵。

 

12_s.jpg

 

 

--我听说每个人听到的声音非常不同,这取决于他们的头部形状以及耳朵的形状。 所以,有了360空间声纹个性化定制这款应用,你要做的就是从脸的左侧或右侧拍照,而不是立体拍照? 另外,在这种情况下,是在云端完成,而不是在手机上计算结果?

泽志:是的,我们有很多人的头部和耳朵的测量结果,我们通过与照片的对比来估算。因此,我们单凭智能手机无法匹配结果,这将在云端进行处理。

--当你试过之后就会知道,这个过程本身就非常顺利和快速。 搭配耳机的360Reality Audio体验当然非常立体,我惊讶地听到了来自上方、后方甚至下方的声音。

横山:我们努力提高国内发布会的音质。我们在虚拟时消除了不自然的声音,提高了人声的清晰度,并将低音变得浑厚,结果我们达到了这个音质水平。

 

 

可以用插件软件进行制作。简单的操作将是未来的主题。

 

--我知道你们正在创建新的内容以满足360现实音频标准,但许多旧的录音也被发布为3D声音。你是怎么把老专辑转换成360度声音的?

横山:比利-乔尔、大卫-波威等传奇人物,以及大泷英一的专辑《漫长的假期》等日本音乐,将于416日起在360 Reality Audio上线。至于老专辑,我们还有老专辑的多轨录音数据,所以我们以这个作为3D化工作的基础。


13_s.jpg


16日起,360现实音库将发力


--你到底是如何创造内容的?


泽熙:请参考下面的生产工作流程。无论是新的录音,还是使用过去的多轨数据,我们都会在编码前对其进行编辑,将其混合成360现实音频。这个编辑过程是在一个有13个扬声器的参考录音室里监*听下完成的。


14_s.jpg

生产工作流程

 

横山:在日本,支持360现实音频的工作室有三家:索尼东京音乐工作室、索尼PCL(创作中心)和Sidela Mastering。在国外,美国、英国、德国等国家有12家工作室支持。在录音室混音后,编码数据被串流给用户,用户可以通过扬声器、耳机或智能手机播放,重现创作者混音的声场。


15_s.jpg


一个制作工作室的例子。如果你仔细观察日本东京索尼音乐工作室的照片,左上角,你可以看到前段安装了9个扬声器。前方LR与中心的位置为30度,四周LR110度。

 

--那么编码后的比特率是多少?

泽熙:我们有三个层次的编码数据。第1级是640 kbps,第2级是1 Mbps,第3级是1.5 Mbps。都是48kHz/24bit,但球体上的物体数量不同,有10个、16个、24个,所以在立体感上的真实性就发生了变化。由服务公司决定提供哪一级的数据。它们可以根据通信环境进行切换,从一开始只提供1级,或者允许用户自由选择级别。这些数据将以360现实音频音乐格式进行编码。


16_s.jpg


360现实音频格式的三个层次。

 

--你用什么样的编辑工具来分配声音到360度球体? 另外,使用DTM创作音乐的人是否可以使用这种格式?

泽志:到目前为止,我们一直使用索尼内部开发的独立制作工具进行技术开发。不过,在4月份,Virtual Sonics将发布一款名为 "360 Reality Audio Creative Suite "的插件软件,该软件将在日本购买。 在海外的售价为300美元,在日本将以下载的方式从一家名为Audio Futures的公司获得。作为一种插件格式,它支持VST3以及AAX,可以与Pro Tools配合使用。更多关于哪些DAW能够使用它的细节将在发布时透露。

360现实音频创意套件

 

当你花300美元就能买到一个插件,而且你可以创造出如此逼真的3D声音,并用耳机回放,这是一种革命。其实,是否可以马上用耳机监*听编码后的声音?

泽志:在制作的时候,用我刚才提到的13个喇叭来监*听声音。为了在智能手机等设备上播放编码数据,你需要在发行网站上真正地进行流媒体播放,所以我们目前还不能做到这一点。

--你之前提到过,你想授权360现实音频技术。 对自己的内容进行编码和发布的创作者是否需要支付许可费?

横山:现在,我们最重要的任务是增加内容,所以我们没有任何向创作者收取授权费的计划。另外,发行平台的数量有限,我们还没有达到通过TuneCore这样的发行聚合器轻松发行的阶段。未来,我们希望能够响应这些需求。

--如果这种3D声音格式能够扩展到不仅包括音乐内容,还包括电影和游戏,那就更有意思了。例如,你是否考虑采用这种格式的蓝光?

横山:由于专利问题的复杂性,我们目前还没有考虑在蓝光包装中采用这种格式。起初,我们的目标是开发用于音乐会等现场直播的系统,但未来我们希望将其融入到电影的声音制作中。

泽熙:在游戏中,延迟很可能是个大问题,因为需要实时生成。如果解决了这样的问题,我想这将是非常有趣的,但目前在游戏中使用是不现实的。


20_s.jpg


360立体声音频技术的应用实例

 

现在我们已经谈到了360现实音频,似乎如果我们能够轻松地在生产中应用它,我们将能够创造一些非常有趣的内容。如果能够试用即将发布的制作工具 "360 Reality Audio Crative Suite",我将在本文的第二部分报告其功能和可用性。