腾讯游戏发布最新游戏语音技术方案游戏内语音交互

据了解, AI Codec通过自研编解码模型算法,传输带宽实现了压缩,并以 5-的AI Codec替换了原来的Opus,用户在主观听觉上的体验没有明显差别。这意味着, AI Codec在保证音效质量的同时,传输码率更低,流量也更少。

在算力消耗方面, AI Codec需要将这一运算复杂度与资源占用极高的编解码方式,通过模型压缩、量化、并行运算、移动端指令集适配等工程化措施,不断降低运算与资源开销,达到移动端落地要求。数据显示, AI Codec在手机 3双工通话下测试,相比Opus格式 CPU占用率资源增长约为2.3%;在 6s下测试,采用 AI Codec后CPU占用率增长约1.3%。这表明, AI Codec用极低的CPU使用率增幅,换来了手机端更低流量的高质量实时通话。

(左图为原始语音,右图为 AI Codec编解码后语音,从波形上看右图语音保真度高,主观听感接近原始语音)

AI Codec技术在《和平精英》中应用后,语音服务质量整体得到了进一步的提升。首先,通过对语音流量的优化, AI Codec能够极大的提升玩家在交通出行、户外活动等弱网环境下的语音流畅性,避免在激烈战斗时出现卡麦、断麦的情况。其次手游语音, AI Codec由于使用AI模型算法,相比传统的语音算法在人声传输方面会有所提升,在《和平精英》中玩家间的语音沟通效果会更加清晰,无论是战术配合还是多人闲聊都有更佳的社交体验。项目组通过在不同嘈杂环境、多种游戏情景下进行了多轮语音测试,结果显示均获得了更良好的玩家反馈。

从游戏发展的角度而言, AI Codec在《和平精英》上的成功落地,为更多游戏语音技术的研发成果落地打下了基础,使得相关技术拓展至更多游戏成为可能。

无社交,不游戏。可以预见的是,随着云游戏、VR/AR等更多游戏品类的萌发, AI Codec技术也将在更多品类的游戏体验方面起到越来越大的作用,成为新的行业标准。