叙述：GVoice AI Codec语音技术落地《和平精英》，现手游端“超音速”游戏

丝绵技术

你有没有试过这样的场景：当你“开黑”正酣，指挥着队友有条不紊朝“敌人”后方挺进，突然语音掉线，因为联系不到队友而陷入孤立援之境，进而痛失好局，不得不咽下失利的苦果……和平精英科技的最新消息可以到我们平台网站了解一下，也可以咨询客服人员进行详细的解答！https://www.gmspock.cn/

随着移动端游戏产品的爆发，让游戏内的语音交流成为天南海北的玩家社交的刚需，也成为定义“高品质游戏”的重要因素之一，游戏内语音交互已经成为近年来众多游戏厂商的关注重点。



近日，QQ游戏发布了比较新游戏语音技术方案，QQ游戏光子S工作室《和平精英》团队携手QQAILab、QQ游戏CROS
GVoice(QQ游戏语音)团队，基于深度学习在语音编解码器上的不断突破，将AICodec应用于《和平精英》游戏中，在行业内率先现AICodec
更低码率更高质量的语音编码，由此成为首个将AICodec技术全面应用于游戏语音领域的产品。






弱环境下的语音交流成“开黑”痛点



此前艾媒咨询对移动游戏社交相关数据的统计表明，近40%的玩家因为社交因素选择一款游戏;156%
的玩家因为一款游戏社交性差而选择离开。因此，提高游戏的社交属性已成为各大游戏厂商的重要工作。



作为减少玩家“孤军奋战”感受的有效手段，游戏语音自诞生起就深受玩家喜爱，并且在手游时代，玩家们对移动手机端的游戏语音传输的质量、延迟时间和使用环境，提出了越来越高的要求。






事上，时语音通信技术在行业内早已不是一个新话题，但游戏内时语音交流不仅仅是简单地现时通话即可。一个“好”的语音，比较重要的是听感质量符合人的听觉要求，在这个前提下，传输码率越低，用户耗费的流量就越少;占用算力越少，CPU的能耗就越少。



发展至今，游戏语音传输技术在两个方面寻找突破。



首先是在弱恶劣环境下，如何确保语音交流流畅是游戏语音技术面临的一个重要课题。同样的听感质量，如果语音信息的码率越低，其传输的连贯性就越有保障，换言之，低码率更适用于弱环境。



其次，算力的损耗也是游戏语音要考虑的因素。由于重度游戏对CPU算力要求较高，因此，如何让语音功能尽可能的减少对CPU的占用，在保障用户的交流体验的同时，不对游戏操作和计算资源进行过多的挤压，成为其中的重点。



人工智能为游戏语音加上“BUFF”



当语音开黑、游戏社交成为刚需，众多国内外的科技企业也开始涉足这一领域。



在确保语音质量的前提下，传统的音频解码技术Codec致力于使用较少的络带宽资源、较低的传输码率去传递更保真的语音信息。随着深度学习技术的发展，完全基于神经络的语音编码器逐渐替代了传统的基于信号处理的方法，成为了业内前沿的解决方案。在此基础上，基于人工智能技术进化的AI
Codec也越来越受到业界的关注。



为了给游戏内语音交互加上人工智能的“BUFF”，游戏界也进行了诸多尝试。例如，业界常用的Opus声音编码格式在低码率语音信息传输方面表现不如人意。2022年，行业涌现了一些超低码率
AICodec，能够以极低码率对语音进行压缩，但是还原出的语音质量不太理想。



Google同样将目光瞄准了这一领域。2022年初，Google发布了基于自回归络的AICodec
Lyra。Lyra能够在以低码率传输的同时保证声音效果，但不能提供高质量的时通信，算法存在延迟的情况。半年后，Google再次发布了新的AI
Codec模型SoundStream，相比于Lyra，SoundStream在语音传输质量方面有所提升，但由于模型复杂度较高，法在大多数的手机上平稳运行。



首个游戏移动端AICodec语音技术落地《和平精英》



与此同时，针对游戏内语音交互，国内厂商也在积极探索更好的解决方案。



作为国内头部战术竞技手游，《和平精英》一直致力于提升游戏品质化玩家游戏体验。
其中游戏语音因为应用场景众多，使用率极高，语音品质的劣对游戏核心体验有着至关重要的影响，一直都是《和平精英》团队比较关注的功能。



2022年底，《和平精英》团队携手QQAILab、CROS游戏语音GVoice团队一起正式立项GVoiceAI
Codec研发项目，基于QQ音频与语音处理Oteam在语音编解码方向的技术积累，新项目着力现高质量、低码率和低功耗的游戏内时语音环境。通过针对游戏场景进行深度化，GVoice
AI
Codec在游戏场景下的语音处理算法比传统即时通讯软件有更加异的音质表现，并且在弱环境下，以低码率保证了音质表现不受损害，确保在移动端得以应用。






QQ游戏语音GVoice是TencentGames
CROS为游戏打造的语音解决方案。资料显示，目前GVoice服务已经覆盖全球超过200个和地区，日活跃用户超3亿，相关解决方案被应用于《和平精英》《英雄联盟手游》《天涯明月刀手游》等数千款游戏。GVoice
AICodec技术也将逐步拓展至其他游戏，提升语音交流流畅度，改善弱环境下的用户体验。






据了解，GVoiceAICodec通过自研编解码模型算法，传输带宽现了压缩，并以5-12kbps的AI
Codec替换了原来24kbps的Opus，用户在主观听觉上的体验没有明显差别。这意味着，GVoiceAI
Codec在保证音效质量的同时，传输码率更低，流量也更少。



在算力消耗方面，GVoiceAI
Codec需要将这一运算复杂度与资源占用极高的编解码方式，通过模型压缩、量化、并行运算、移动端指令集适配等工程化措施，不断降低运算与资源开销，达到移动端落地要求。数据显示，GVoice
AICodec在手机OnePlus3双工通话下测试，相比Opus格式CPU占用率资源增长约为23%;在iPhone6s下测试，采用GVoiceAI
Codec后CPU占用率增长约13%。这表明，GVoiceAICodec用极低的CPU使用率增幅，换来了手机端更低流量的高质量时通话。






(左图为原始语音，右图为GVoiceAICodec编解码后语音，从波形上看右图语音保真度高，主观听感接近原始语音)



GVoiceAICodec技术在《和平精英》中应用后，语音服务质量整体得到了进一步的提升。首先，通过对语音流量的化，GVoiceAI
Codec能够极大的提升玩家在交通出行、户外活动等弱环境下的语音流畅性，避免在激烈战斗时出现卡麦、断麦的情况。其次，GVoiceAI
Codec由于使用AI模型算法，相比传统的语音算法在人声传输方面会有所提升，在《和平精英》中玩家间的语音沟通效果会更加清晰，论是战术配合还是多人闲聊都有更佳的社交体验。项目组通过在不同嘈杂环境、多种游戏情景下进行了多轮语音测试，结果显示均获得了更良好的玩家反馈。



从游戏发展的角度而言，GVoiceAI
Codec在《和平精英》上的成功落地，为更多游戏语音技术的研发成果落地打下了基础，使得相关技术拓展至更多游戏成为可能。



社交，不游戏。可以预见的是，随着云游戏、VRAR等更多游戏品类的萌发，GVoiceAICodec
技术也将在更多品类的游戏体验方面起到越来越大的作用，成为新的行业标准。