视频会议场景中的空间音频--为何选择空间音频这一主题？ 首先，为什么选择空间音频这一主题？我在视频会议领域工作了近二十年，我们的目标一直是让声音更清晰、视频更清晰。但在过去的 20 年中，视频会议的产品形态并没有发生本质的变化。去年元宇宙比较火，微软、Facebook都在做基于VR和元宇宙的企业协作研究，我们也进行了这方面的探索。 一开始，我们想从纯技术角度研究空间音频技术如何应用于视频会议场景，但在研究过程中，我们发现这是一个非常复杂的场景。因为视频会议本质上是人与人之间的交流。人与人之间的沟通是多维度的信息传递，声音、图像、眼神、肢体语言、触觉都是人与人之间沟通的要素，音频只是其中之一。本次分享从沟通与交流的角度，从视频会议的应用场景出发，分析视频会议产品需要什么样的空间音频技术以及如何实现。 02 空间音频与沉浸式交流

这里选了两个场景，第一个场景是两个或者多个会议室之间，在视频会议中最常见的场景之一，这里展示的是两个会议室。左边是本地会议室，右边是远端会议室，将远端会议室每个人的图像和声音在本地会议室呈现，在呈现过程中，做到左上角女孩说话，那么声音感觉从左上角发出而不是从电视下方发出。两个人在同时说话，能感知两个声音来自不同的方向。

第二个场景是单个会议室与远端的有多个个人开会，远端的人加入会议室，这是非常常见场景。每一个远端的人都是一路单独的码流，将他的声音和图像在本地会议室中播放，通过空间音频算法保证图像与声像位置的一致。

上图是第二个场景中具体的框架，从会议室到个人端通过双耳录音，多声道回声消除和降噪处理，双声道编码传输，到远端解码，双耳重放，就能在远端感受到会议室的空间效果。从个人终端到会议室，是通过在个人终端上采集图像声音，在本地会议室展现，通过围绕在显示器周围的喇叭和空间音频算法产生虚拟声像，保证声像和图像的一致性，能够给本地会议室用户带来沉浸式的体验。

5.3 技术方案

具体的技术方案包括音视频采集、音视频传输、音视频渲染。其中涉及到音视频前端处理、服务器转发策略，最终渲染是在端上实现，远端参会人在本地会议室窗口虚拟位置是通过本地设置或会议管理策略控制，与远端物理空间无关，只是将远端的人搬至物理空间。对于空间音频算法，这里采用的是VBAP算法，与上文提到双声道立体声技术类似，与之不同用的是利用相邻的三个扬声器，在两个空间方向上通过调整播放通路上声压级来调整虚拟声像的位置。

5.4 最终效果

最终实现的效果是有沉浸式的效果，但离理想中接近于自然交互的体验还有较大的差距。这里有会议空间的限制，常见的会议的位置排列，如上图中长方形和圆形的会议排列，对远程音视频交互体验是不友好的，很难有沉浸式的感觉。会议室的布置应采取下图的方式，所有的人面对显示屏，这样有很好的视觉呈现感，并且通过空间音频算法实现声音的空间感。空间音频算法本身也有一定限制，采取VBAP算法整体来说会有黄金位置，离开黄金位也会有方位感，但越往两边体验越差。其他的影响比如通话延时，对体验影响非常大，短期内很难改善。另外，摄像头的位置会影响到眼神视线的交流，也会对整个沉浸式视频体验有非常大的限制。整体而言，我们还是在比较初期的研究阶段，也希望整个行业可以有多一些投入，一起把会议室沉浸式交互体验做得更好。

最后做一个简单的总结，我们尝试用沉浸式沟通提升会议体验和效率，实现了两个会议室打通，以及一个会议室和多个个人沟通的场景；实现了两种沉浸式沟通模式，将对方拉到自己空间，和自己加入对方空间；我们采用了基于VBAP的空间音频算法，以及双耳录音和双耳重放技术实现空间音频的体验。

初步摸索是有效果的，但与理想还有较大差距，后续改进要有更好地空间音频算法。高阶Ambisonics算法能提供更好准确的空间位置感，是我们下一步想要探索的方向。

关于“如何才能实现沉浸式沟通”，我的回答是目前没有单一的技术可以完全做到实现沉浸式沟通，一定是音频和视频，软件和硬件一起突破才能最终实现沉浸式沟通效果。如果大家对话题感兴趣可以阅读下The Road to Immersive Communication 这篇文章，这是2013年一位微软研究员写的，对我们在整个研究过程中有很大的启发。

最后感谢广州迈聆和MAXHUB团队对这项研究工作的支持。广州迈聆主打产品是视频会议软件和服务，也提供PaaS服务及行业解决方案。MAXHUB是广州视源旗下的一个品牌，主打一体式智能书写大屏以及音视频终端、外设等，是行业的领导者。目前广州迈聆与MAXHUB合作打造了一整套高质量的视频会议解决方案。此项工作就是基于这套视频会议解决方案开展的。

谢谢大家，我的分享就到这里。

---

▼识别 二维码或猛戳下图订阅课程▼

喜欢我们的内容就点个“在看”吧！