디지털 세상 AGI를 향해 나아가다! 에이전트가 'Red Dead Redemption 2'를 처음부터 플레이하기 시작했습니다.

일반 컴퓨터 제어

정보 혁명으로 인해 디지털 세계가 탄생했습니다. 디지털 세계는 대형 모델 탄생을 위한 데이터를 제공하며 일반 인공 지능(AGI)을 구현하기 가장 쉽습니다. ).

디지털 세계의 AGI를 향해 베이징 Zhiyuan 인공 지능 연구소, 싱가포르 난양 기술 대학교, 북경 대학교가 공동으로 제안한 일반 컴퓨터 제어(GCC), 즉 지능형 에이전트는 인간처럼 화면을 키보드와 마우스를 통해 컴퓨터의 모든 작업을 완료하세요. 오래전부터 인공지능 연구는 게임을 기반으로 이루어졌는데, GCC는 일반적인 인공지능 연구에 대한 시나리오를 제공하고, 대형 모델과 AI Agent의 구현과 산업화를 더욱 촉진해 나갈 것입니다.

이를 위해 연구팀은 에이전트가 오픈 소스든 내부 API든 상관없이 키보드, 마우스 및 모든 소프트웨어 상호 작용을 직접 제어할 수 있는 범용 컴퓨터 제어 에이전트 프레임워크인 Cradle을 제안했습니다. 비공개 소스이며 Red Dead Redemption 2와 같은 상업용 AAA 게임 걸작인 "The Wilderness"도 플레이할 수 있습니다!

• 논문 제목: 일반 컴퓨터 제어를 향하여: Red Dead Redemption II의 다중 모드 에이전트 사례 연구
• 논문 링크: https://arxiv.org/abs/2403.03186
• 프로젝트 홈페이지 : https://baai-agents.github.io/Cradle/
• 코드링크 : https://github.com/BAAI-Agents/Cradle

대형모델 개발과 함께 , 인공지능(AI Agents)에 대한 연구는 웹 검색, 스마트폰 조작, 게임 등 컴퓨터 제어에 중점을 두는 연구가 점점 늘어나고 있습니다. 그러나 기존 연구에서는 사전 정의된 작업을 입력 및 출력하기 위해 내부 API를 사용합니다. 컴퓨터에서 모든 작업을 완료할 수 있는

범용 에이전트를 구축하려면 가장 일반적이고 표준적인 입력 및 출력을 사용하여 컴퓨터와 상호 작용해야 합니다. 따라서 범용 컴퓨터 제어는 통일된 입력과 출력을 사용하므로 에이전트의 보편성이 가능해집니다.

그러나 다재다능함은 운영상의 어려움을 가져옵니다. (1) 컴퓨터 화면을 입력으로 사용하면 에이전트의 비디오 이해 능력에 대한 요구 사항이 높아집니다. 예를 들어 내부 API가 없기 때문에 시각적 정보를 통해 동작을 판단해야 합니다. (2) 키보드 및 마우스 작업을 출력으로 사용하려면 에이전트에 더 높은 시공간 작업 정확도가 필요합니다. 예를 들어 키보드 키 입력 및 마우스 클릭에는 일반적으로 추가 시간 차원이 필요합니다. 이러한 어려운 문제를 해결하는 방법은

일반 컴퓨터 제어 에이전트(GCC 에이전트) 구축의 과제입니다!

Cradle: 모든 것을 제어하는 ​​소프트웨어

"컴퓨터란 PC, 스마트폰, 태블릿 등 사용자 중심의 모든 컴퓨팅 장치를 말합니다. Cradle은 키보드와 마우스 조작에 중점을 두고 있지만

일반적인 컴퓨터 제어 에이전트 프레임워크 Cradle은 크게 정보 수집, 자기 성찰, 작업 추론, 기술 관리, 행동 계획, 그리고 메모리 모듈. Cradle의 높은 다양성은 컴퓨터와 상호 작용하는 과정에서 원래 입력 및 출력을 합리적으로 캡슐화하고 추상화하는 데서 비롯됩니다. 화면에 표시된 비디오를 입력으로 사용하고 의사 결정을 위한 텍스트 및 시각적 정보를 추출하며 기본 운영 체제의 키보드 및 마우스 제어 신호를 출력하여 컴퓨터와 상호 작용하므로 컴퓨터에 의존하지 않고 모든 소프트웨어와 상호 작용할 수 있습니다. 어떤 가정에서도.

"Cradle은 주로 정보수집, 자기성찰, 과제추론, 기술관리, 행동계획, 기억모듈 등 6개의 모듈로 구성되어 있습니다. "과거에 대한 성찰, 현재의 요약, 미래에 대한 계획"에서 강력한 의사결정 추론이 나옵니다. 미래""

동시에 Cradle의 강력한 의사결정 추론 모듈을 통해 소프트웨어와 자발적으로 상호 작용하고 작업을 완료할 수 있습니다. 이 프로세스는 다음과 같이 간단히 요약할 수 있습니다. 과거를 반성하고 현재를 요약합니다. , 그리고 미래를 계획하세요.

• Reflect on the Past: 과거 작업 프로세스의 비디오를 입력으로 사용하고, 주요 텍스트와 시각적 정보를 각각 추출하고, Reflection을 사용하여 이전 작업이 성공적으로 실행되었는지, 작업이 완료되었는지 확인하고, 그리고 개선 방법.
• 지금 요약: 숙고 후 현재 상황을 요약하고 이를 토대로 미션 목표를 변경할지 미션 내용을 수정할지 결정하세요.
• Planning for the future: 마지막으로 현재 작업과 현재 상황을 기반으로 스킬을 생성 또는 업데이트하고, 학습된 스킬 중에서 현재 작업과 관련된 스킬을 대안으로 검색한 다음, 그 중에서 적절한 스킬을 선택하여 인스턴스화합니다. 실행을 위한 작업으로 사용됩니다.

Cradle은 의사결정과 추론을 하면서 맥락기억에 저장된 역사적 정보와 장기기억에 저장된 기술을 주기적으로 요약하고 유지합니다. 이 프로세스의 브레인은 GPT-4V와 같은 대규모 멀티모달 모델이지만 Cradle은 여기에 요약, 반영, 메모리 등의 기능을 추가하여 일반적인 컴퓨터 제어를 위한 완전한 지능형 에이전트 프레임워크를 형성하여 보편성 문제를 효과적으로 해결합니다. .문제가 발생했습니다.

Cradle: "Red Dead Redemption 2"를 처음부터 탐험해 보세요

프레임워크의 다양성과 강력한 의사 결정 능력을 입증하기 위해 연구팀은 Cradle을 가장 많이 사용하는 환경에 배포하기로 결정했습니다. 어렵고 거의 탐험되지 않은 지역 상업용 AAA 게임 걸작 "Red Dead Redemption 2". 그들은 작동하기 가장 어려운 소프트웨어인 Cradle이 AAA 게임의 메인 스토리라인을 자유롭게 탐색하고 완성할 수 있다면 프레임워크가 다른 게임 및 소프트웨어로 일반화될 수 있는 큰 잠재력이 있음을 보여준다고 믿습니다.

"Minecraft와 같은 오픈 소스 게임과 달리 대부분의 상용 게임, 특히 3A 게임은 내부 API 인터페이스를 제공하지 않으므로 내부 API를 사용하여 사전 정의된 작업을 입력 및 출력하는 Voyager와 같은 프레임워크를 다른 게임으로 마이그레이션할 수 없습니다. 게임 내"

GPT-4V를 기반으로 Cradle은 게임 내 프롬프트 및 튜토리얼을 기반으로 해당 실행 코드를 스킬로 직접 생성하여 스킬 라이브러리를 단계별로 풍부하게 하고 후속 게임에서 재사용할 수 있습니다. 이러한 스킬 .

Cradle은 잘못된 작업을 수행한 후 반사를 통해 오류를 효과적으로 발견하고 수정할 수 있습니다.

Cradle은 게임 안내에 따라 해당 스킬을 처음부터 생성하고 40분의 메인 스토리라인을 완료할 수 있을 뿐만 아니라 자유롭게 탐험하고, 말을 타고, 사냥하고, 싸우고, NPC와 대화하고, 소품을 사용하고, 조작할 수 있습니다. 오픈 월드의 지도는 물론 매장 쇼핑도 매우 쉽습니다. 상업용 AAA 게임을 오랫동안 플레이할 수 있는 최초의 로봇입니다.

결론

오픈 소스 Cradle 코드는 다른 소프트웨어 및 게임으로 쉽게 확장될 수 있습니다. 연구팀은 진정한 범용 컴퓨터 제어를 달성하기 위해 Cradle이 향후 더 많은 소프트웨어와 게임에 포팅될 것이라고 밝혔으며, 관련 연구팀/업계가 추가 연구와 탐구를 수행하도록 장려합니다. 목표는 지능형 에이전트가 오픈 소스든 폐쇄 소스든 모든 소프트웨어와 상호 작용하고 지속적으로 개선하여 보편성을 달성하고 궁극적으로 일반 인공 지능 탄생의 요람이 되는 것입니다.

"GCC는 AGI의 요람입니다."

—크래들 팀

한 가지 더: 크래들 기술 해석 실시간 방송

3월 14일 14:30-15:30에 논문의 제1저자 난양대학교 박사과정 학생 Tan Weihao가 참여했습니다. 싱가포르 공과대학에서 온라인 통역 보고서를 발표했습니다. 등록하려면 아래 QR 코드를 스캔하세요.

위 내용은 디지털 세상 AGI를 향해 나아가다! 에이전트가 'Red Dead Redemption 2'를 처음부터 플레이하기 시작했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!