모바일게임 '영원한 환난' 정식 출시! 음성 AI 팀원 뒤에 숨은 블랙 기술 공개 | Qualcomm Snapdragon Gaming Technology Awards 2024 연설문

많은 기대를 모았던 모바일 게임 '영원한 고난'이 지난 7월 25일 정식 베타 버전을 출시했습니다. 사전 다운로드 단계에서 모바일 게임이 앱스토어 무료 목록 TOP1에 올랐습니다! 게임에 새로 도입된 음성 AI 팀원 기능은 대다수 플레이어의 관심과 찬사를 빠르게 받았습니다.

1. NetEase 최초의 AI Copilot Teammate

이 혁신적인 게임플레이는 NetEase 24 Studio와 NetEase Fuxi AI Lab이 공동 개발한 세계 최초의 게임 Copilot Teammate로서, 이 기능은 최첨단 AI 대형 모델을 기반으로 합니다. 추론 기술은 실제 플레이어의 경험에 필적하는 AI 팀원을 성공적으로 생성했습니다.

2. 특징 하이라이트

AI 팀원은 지도 달리기, 보급품 찾기, 전투 참여, 원 달리기 등의 전술적 행동을 독립적으로 수행할 수 있을 뿐만 아니라 전투 중에 지원과 구조를 제공할 수도 있습니다. 자연스러운 음성소통을 통해 플레이어와 양방향으로 원활한 소통이 가능합니다.

"Eternal Tribulation" 모바일 게임이 출시된 날 NetEase Fuxi AI 기술 디렉터 Ruifeng이 "2024 Snapdragon Game Technology Awards"에서 연설을 위해 초청되어 처음으로 음성 AI의 기술 탐구를 공개적으로 공유했습니다. "Eternal Tribulation" 모바일 게임의 팀원 및 애플리케이션 결과. 이 행사는 Qualcomm이 ChinaJoy를 앞두고 개최하는 연례 행사입니다. 올해 Qualcomm은 NetEase Fuxi와 같은 업계 파트너와 협력하여 모바일 기술 혁신이 최첨단 디지털 엔터테인먼트 경험을 어떻게 강화할 수 있는지 논의했습니다.

발표 당일이 모바일 게임 '영원한 고난'의 공개 베타 출시와 겹치기 때문에 루이펑은 현장에 도착하지 못해 현장 연결을 했습니다.

다음은 연설 전문입니다.

안녕하세요. 저는 NetEase Fuxi의 Ruifeng입니다. "Snapdragon Game Technology Award"에 참여하게 되어 매우 기쁩니다.

(NetEase Fuxi의 AI 기술 책임자 Ruifeng이 온라인으로 현장을 공유했습니다.)

NetEase Fuxi는 2017년 9월에 설립되었습니다. 게임 산업을 위한 AI 연구를 수행하는 중국 최초의 인공 지능 연구소입니다. "인공 지능과 게임의 교차점에 세계적 수준의 실험실을 만든다"는 목적으로 최첨단 인공 지능 기술을 사용하여 플레이어에게 새로운 세대의 게임 경험을 선사합니다. 인공지능 기술 발전을 촉진하기 위한 게임 플랫폼입니다.

NetEase Fuxi는 2017년 설립 이후 여러 게임에서 수많은 AI 게임플레이를 구현했습니다. 예를 들어, PC 게임 "니수이한(Ni Shui Han)"에서 AI 사진 얼굴 꼬집기 게임 플레이와 지능형 육아 시스템을 개척했습니다. PC 게임 "영원한 재앙(Eternal Calamity)"에서는 강화 학습 기술을 기반으로 한 악몽 같은 인간-기계 게임 플레이를 출시했습니다. AI 부정 행위 방지 기술을 사용하여 위반 플레이어를 찾아 처벌하면 공정한 게임 환경이 보장됩니다.

지난해 우리는 경이로운 모바일 게임 "니수이한(Ni Shuihan)"에 스마트 NPC, 텍스트 얼굴 꼬집기, 다송 헤드라인, UGC 크루 모드 등 수많은 혁신적인 AI 애플리케이션을 구현하여 세계 최초의 AI 게임을 만들었습니다. 또한 플레이어들로부터 높은 평가와 환영을 받았습니다.

올해 오늘 정식 출시된 모바일 게임 '영원한 재앙'에서 세계 최초로 음성 AI 팀원 게임플레이를 최초로 공개했습니다. 이 게임플레이에서 플레이어는 완전한 게임 경험을 위해 지능형 AI 팀원을 초대할 수 있습니다. 플레이어는 음성 상호작용을 통해 AI와 직접 소통할 수 있습니다.

이 AI 팀원은 먼저 명령을 이해하고, 장비 검색 및 전달에 능숙하며, 둘째, 전투 상황을 실시간으로 관찰하고, 주요 정보를 보고하고, 질문에 답변할 수 있습니다. 팀원은 또한 강력한 전투 능력을 갖고 있으며 게임에 강합니다. 마지막으로 AI 팀원은 자유롭게 의사소통을 할 수 있어 플레이어에게 높은 감정적 가치를 제공합니다.

듣고 말하고 행동할 수 있는 AI 팀원을 실현하기 위해 NetEase Fuxi는 다년간의 기술 축적을 기반으로 음성 인식, 의미 이해, 텍스트 생성, 음성 합성, 강화 학습, 모방 등 다양한 AI 기술을 결합했습니다. 학습, 많은 기술적 문제가 해결되었습니다. 실제 팀원과 거의 동일한 음성 상호 작용 경험을 달성하기 위해 이 게임 플레이에 대한 몇 가지 기술 지표를 설정했습니다.

먼저 깨우기 말이나 수동 버튼에 의해 실행되는 상호작용 방식에 비해 Quankaimai의 실시간 음성 상호작용은 우리에게 더 많은 기술적 과제를 제기합니다. 그 핵심은 소음 감지 및 비대화형 콘텐츠 인식 기능입니다. 잘못된 적중률을 줄이기 위해 NetEase Fuxi의 지능형 크라우드 소싱 플랫폼을 사용하고 개발 기간 동안 자동 데이터 폐쇄 루프 방식을 채택하여 다양한 모델 및 프로젝트 구성원으로부터 실제 경험 데이터를 지속적으로 수집하여 모델 효과를 지속적으로 최적화합니다. .

둘째, AI가 플레이어의 지시를 정확하게 식별하고 가장 합리적인 행동 결정을 내릴 수 있도록 자연어 이해 기술을 도입하여 지시 인식 능력을 향상시켰을 뿐만 아니라 모델이 다음을 수행할 수 있도록 지시 기반 강화 학습 기술을 채택했습니다. 지시와 실시간 전장 상황에 따라 행동하고, 가장 합리적인 행동 결정을 내리며, 플레이어의 지시를 최대한 따르면서 고강도 게임 능력을 발휘합니다.

Finally, in order to achieve extremely low interactive experience speed, we have done a lot of engineering optimization work. Currently, the shortest online real-time response time can achieve voice and behavioral responses within 300ms, and the longest response time can be controlled at about 1 second, thus ensuring communication is not delayed and cooperation is more timely.

As mentioned earlier, this voice AI teammate gameplay is very sensitive to latency. In order to bring users a more extreme interactive experience, Fuxi has conducted in-depth cooperation with Qualcomm to migrate some AI inferences from the cloud GPU to the third generation On the NPU of the Snapdragon 8 mobile platform.

Why do we need to do end-side reasoning? The first is low latency. Compared with cloud-based inference, device-side inference can save the time delay caused by network transmission, especially for players in areas with poor network conditions. This part of the delay reduction brings The benefits are very considerable, bringing a better gaming experience to this group of players. Secondly, from a company level, AI inference is migrated from the cloud to the device side, which can make full use of players' terminal computing power and reduce service operating costs. We know that current GPU services in the cloud are relatively expensive. In order to control costs, many AI services will impose some usage restrictions on applications or allow players to pay for them. On-device inference can allow these players to freely experience AI gameplay. .

Currently, in the AI ​​teammate gameplay of the "Eternal Tribulation" mobile game, NetEase Fuxi and Qualcomm have migrated some AI capabilities to the end side and are currently doing more in-depth cooperation. We hope that in the future, more AI capabilities, including large language model (LLM), speech synthesis (TTS) and other technologies, can be adapted to mobile terminals to bring players a better gaming experience.

위 내용은 모바일게임 '영원한 환난' 정식 출시! 음성 AI 팀원 뒤에 숨은 블랙 기술 공개 | Qualcomm Snapdragon Gaming Technology Awards 2024 연설문의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!