首页 > 前沿 > 科技
GVoice AI Codec语音技术落地《和平精英》,实现手游端游戏语音体验
来源:中国日报网 发布时间:2022-09-19 09:33:31

你有没有试过这样的场景:当你“开黑”正酣,指挥着队友有条不紊朝“敌人”后方挺进,突然语音掉线,因为联系不到队友而陷入孤立无援之境,进而痛失好局,不得不咽下失利的苦果……

随着移动端游戏产品的爆发,让游戏内的语音交流成为天南海北的玩家社交的刚需,也成为定义“高品质游戏”的重要因素之一,游戏内语音交互已经成为近年来众多游戏厂商的关注重点。

近日,腾讯游戏发布了最新游戏语音技术方案,腾讯游戏光子S工作室《和平精英》团队携手腾讯AI Lab、腾讯游戏CROS GVoice(腾讯游戏语音)团队,基于深度学习在语音编解码器上的不断突破,将AI Codec应用于《和平精英》游戏中,在行业内率先实现AI Codec 更低码率更高质量的语音编码,由此成为首个将AI Codec技术全面应用于游戏语音领域的产品。

GVoice AI Codec语音技术落地《和平精英》,实现手游端“超音速”游戏语音体验V1.2401.png

  弱网环境下的语音交流成“开黑”痛点

此前艾媒咨询对移动游戏社交相关数据的统计表明,近 40% 的玩家因为社交因素选择一款游戏;15.6% 的玩家因为一款游戏社交性差而选择离开。因此,提高游戏的社交属性已成为各大游戏厂商的重要工作。

作为减少玩家“孤军奋战”感受的有效手段,游戏语音自诞生起就深受玩家喜爱,并且在手游时代,玩家们对移动手机端的游戏语音传输的质量、延迟时间和使用环境,提出了越来越高的要求。

GVoice AI Codec语音技术落地《和平精英》,实现手游端“超音速”游戏语音体验V1.2608.png

事实上,实时语音通信技术在行业内早已不是一个新话题,但游戏内实时语音交流不仅仅是简单地实现实时通话即可。一个“好”的语音,最重要的是听感质量符合人的听觉要求,在这个前提下,传输码率越低,用户耗费的流量就越少;占用算力越少,CPU的能耗就越少。

发展至今,游戏语音传输技术在两个方面寻找突破。

首先是在弱网恶劣环境下,如何确保语音交流流畅是游戏语音技术面临的一个重要课题。同样的听感质量,如果语音信息的码率越低,其传输的连贯性就越有保障,换言之,低码率更适用于弱网环境。

其次,算力的损耗也是游戏语音要考虑的因素。由于重度游戏对CPU算力要求较高,因此,如何让语音功能尽可能的减少对CPU的占用,在保障用户的交流体验的同时,不对游戏操作和计算资源进行过多的挤压,成为其中的重点。

人工智能为游戏语音加上“BUFF”

当语音开黑、游戏社交成为刚需,众多国内外的科技企业也开始涉足这一领域。

在确保语音质量的前提下,传统的音频解码技术Codec致力于使用较少的网络带宽资源、较低的传输码率去传递更保真的语音信息。随着深度学习技术的发展,完全基于神经网络的语音编码器逐渐替代了传统的基于信号处理的方法,成为了业内前沿的解决方案。在此基础上,基于人工智能技术进化的AI Codec也越来越受到业界的关注。

为了给游戏内语音交互加上人工智能的“BUFF”,游戏界也进行了诸多尝试。例如,业界常用的Opus声音编码格式在低码率语音信息传输方面表现不如人意。2019年,行业涌现了一些超低码率 AI Codec,能够以极低码率对语音进行压缩,但是还原出的语音质量不太理想。

Google同样将目光瞄准了这一领域。2021年初,Google发布了基于自回归网络的AI Codec Lyra。Lyra能够在以低码率传输的同时保证声音效果,但不能提供高质量的实时通信,算法存在延迟的情况。 半年后,Google再次发布了新的AI Codec模型SoundStream,相比于Lyra,SoundStream在语音传输质量方面有所提升,但由于模型复杂度较高,无法在大多数的手机上平稳运行。

首个游戏移动端AI Codec语音技术落地《和平精英》

与此同时,针对游戏内语音交互,国内厂商也在积极探索更好的解决方案。

作为国内头部战术竞技手游,《和平精英》一直致力于提升游戏品质优化玩家游戏体验。 其中游戏语音因为应用场景众多,使用率极高,语音品质的优劣对游戏核心体验有着至关重要的影响,一直都是《和平精英》团队最关注的功能。

2021年底,《和平精英》团队携手腾讯AI Lab、CROS游戏语音GVoice团队一起正式立项GVoice AI Codec研发项目,基于腾讯音频与语音处理Oteam在语音编解码方向的技术积累,新项目着力实现高质量、低码率和低功耗的游戏内实时语音环境。通过针对游戏场景进行深度优化,GVoice AI Codec在游戏场景下的语音处理算法比传统即时通讯软件有更加优异的音质表现,并且在弱网环境下,以低码率保证了音质表现不受损害,确保在移动端得以应用。

GVoice AI Codec语音技术落地《和平精英》,实现手游端“超音速”游戏语音体验V1.21902.png

腾讯游戏语音GVoice是Tencent Games CROS为游戏打造的语音解决方案。资料显示,目前GVoice服务已经覆盖全球超过200个国家和地区,日活跃用户超3亿,相关解决方案被应用于《和平精英》《英雄联盟手游》《天涯明月刀手游》等数千款游戏。GVoice AI Codec技术也将逐步拓展至其他游戏,提升语音交流流畅度,改善弱网环境下的用户体验。

GVoice AI Codec语音技术落地《和平精英》,实现手游端“超音速”游戏语音体验V1.22084.png

据了解,GVoice AI Codec 通过自研编解码模型算法,传输带宽实现了压缩,并以 5-12kbps 的AI Codec替换了原来的Opus,用户在主观听觉上的体验没有明显差别。这意味着,GVoice AI Codec在保证音效质量的同时,传输码率更低,流量也更少。

在算力消耗方面,GVoice AI Codec需要将这一运算复杂度与资源占用极高的编解码方式,通过模型压缩、量化、并行运算、移动端指令集适配等工程化措施,不断降低运算与资源开销,达到移动端落地要求。数据显示,GVoice AI Codec在手机OnePlus 3双工通话下测试,相比Opus格式 CPU占用率资源增长约为2.3%;在iPhone 6s下测试,采用GVoice AI Codec后CPU占用率增长约1.3%。这表明,GVoice AI Codec用极低的CPU使用率增幅,换来了手机端更低流量的高质量实时通话。

GVoice AI Codec语音技术落地《和平精英》,实现手游端“超音速”游戏语音体验V1.22488.png

(左图为原始语音,右图为GVoice AI Codec 编解码后语音,从波形上看右图语音保真度高,主观听感接近原始语音)

GVoice AI Codec技术在《和平精英》中应用后,语音服务质量整体得到了进一步的提升。首先,通过对语音流量的优化,GVoice AI Codec能够极大的提升玩家在交通出行、户外活动等弱网环境下的语音流畅性,避免在激烈战斗时出现卡麦、断麦的情况。其次,GVoice AI Codec由于使用AI模型算法,相比传统的语音算法在人声传输方面会有所提升,在《和平精英》中玩家间的语音沟通效果会更加清晰,无论是战术配合还是多人闲聊都有更佳的社交体验。项目组通过在不同嘈杂环境、多种游戏情景下进行了多轮语音测试,结果显示均获得了更良好的玩家反馈。

从游戏发展的角度而言,GVoice AI Codec在《和平精英》上的成功落地,为更多游戏语音技术的研发成果落地打下了基础,使得相关技术拓展至更多游戏成为可能。

无社交,不游戏。可以预见的是,随着云游戏、VR/AR等更多游戏品类的萌发,GVoice AI Codec 技术也将在更多品类的游戏体验方面起到越来越大的作用,成为新的行业标准。


上一篇:以创新改变行业 金柚网创始人兼CEO郭伟荣膺36Kr“2022新人力先锋人物”
下一篇:英特尔携创新科技亮相进博会,向数字未来进发!
本网推荐
「特殊的推荐宝贝」:为小流浪汇聚每一分暖意
香港澳美制药奥泰灵、奥肯能、奥络、澳能上榜2022-2023中国家庭
兆龙出国荣获“回响中国”腾讯教育2023年度出国服务影响力品牌
兆龙移民总经理刘杨接受CCTV《大国品牌》栏目组特别专访
交通安全日曹操出行亮出安全“四大法宝”夯实好服务体验
沃尔沃EM90:豪华MPV新时代的开启者!
沃尔沃XC60:三十万预算如何获得高品质长途出行体验
FENDI CLUB啤酒:未来发展趋势
淘宝「老宝贝上新」公益计划收官,践行企业社会责任为双十一带来别
双11玩这么花?不得不说天猫还是有点格局的!
前沿资讯
幸会杭万·共鉴时光 | 殿堂级烧肉「老乾杯」登陆杭州,以品质实力
医美如何借力新氧、小红书、美团沉淀私域?1小时直播教你玩转
“闪测”全自动核酸检测工作站亮相
3年拓店近300家,恋上麻椒鸡勇当麻椒鸡中的战斗机
菓蓝购2.0小程序正式上线,聚焦大母婴市场
幸会杭万·共鉴时光 | 老乾杯首秀杭州,品质实力抬升城市烧肉美味
春节档白酒迎大考!舍得携手耿乐共创虎年首秀,强共鸣激发高热度
幸会杭万·共鉴时光 |「老乾杯」首秀杭州,殿堂级烧肉亮相万象城
完美收官!《江湖搜食记》获7亿多关注,沱牌“唤醒计划”再加速!
平顶山博爱妇产医院五一假期“五好一利她”医疗活动正式开启
热门资讯排行
汇聚金融力量 共创美好生活 --2023年“金融消费者权益保护教育宣
河南质量工程职业学院舞钢校区开工仪式隆重举行
退役大学生张奥河中救人不留名
“她”世界职场巾帼武瑞霞:让青春逐梦绽芳华
致敬国粹 传承“匠心”〡武瑞霞:钧瓷的“匠心”也是企业的品质
传递正能量〡“爱心使者”武瑞霞:让更多人得到爱和温暖
文化多棱镜〡武瑞霞:用“匠心“做好产品和服务
增长力集团武瑞霞:永远做企业的好伙伴
巾帼女杰〡武瑞霞:用行动照亮梦想
态度人物〡武瑞霞:做有温度、有担当的企业
关于我们版权声明广告服务联系我们
Copyright © 2018 河南铁军网络科技有限公司 版权所有 本网站所转载的信息,不代表中部资讯网观点;署名来源中部资讯网文章,未经许可不得转载。
主管单位:河南铁军网络科技有限公司 法律顾问:河南浩盈律师事务所
工信部备案号:豫ICP备16021895号豫公网安备41010702002438号豫公网安备41010702002438号
违法和不良信息举报电话:(0371) 89971666 电子邮箱:hnppxc@126.com 技术支持:河南科加