목차
공격 방법
평가 결과
기술 주변기기 일체 포함 마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

Apr 12, 2023 am 08:40 AM
ai 연구

최근 몇 년간 자가 게임의 강화 학습은 바둑, 체스 등 일련의 게임에서 초인적인 성능을 달성했습니다. 게다가 이상화된 자기 놀이 버전도 내쉬 균형으로 수렴됩니다. 내쉬 균형은 게임 이론에서 매우 유명합니다. 이 이론은 게임 이론의 창시자이자 노벨상 수상자인 존 내쉬(John Nash)가 제안했습니다. 즉, 게임 과정에서는 상대방의 전략 선택에 관계없이 한쪽이 특정 전략을 선택하게 됩니다. . 전략, 이 전략을 지배적 전략이라고 합니다. 다른 모든 플레이어의 전략이 결정될 때 한 플레이어가 최적의 전략을 선택하면 이 조합을 내쉬 균형으로 정의합니다.

이전 연구에 따르면 셀프 게임에서 겉으로 보기에는 효과적일 것 같은 지속적인 제어 전략이 적대적인 전략에 의해 악용될 수도 있다는 사실이 밝혀졌으며, 이는 셀프 게임이 이전에 생각했던 것만큼 강력하지 않을 수 있음을 시사합니다. 이는 대결 전략이 자기 게임을 극복하는 방법인가, 아니면 자기 게임 전략 자체가 부족한 것인가라는 질문으로 이어진다.

이 질문에 답하기 위해 MIT, UC Berkeley 및 기타 기관의 연구원들이 몇 가지 연구를 수행했으며, 그들은 자기 게임을 잘하는 분야, 즉 바둑을 선택했습니다. 구체적으로 공개된 가장 강력한 Go AI 시스템인 KataGo에 대한 공격을 실시했습니다. 고정 네트워크(KataGo 동결)의 경우 KataGo를 훈련할 때 계산의 0.3%만으로 엔드투엔드 적대 전략을 훈련했으며 이 전략을 사용하여 KataGo를 공격했습니다. KataGo를 상대로 99%의 승률을 달성했는데, 이는 유럽 바둑 상위 100명과 맞먹는 수치입니다. 그리고 KataGo는 초인적인 수준에 도달할 만큼 충분한 검색을 수행했을 때 승률이 50%에 이르렀습니다. 결정적으로, 공격자(본 연구에서 학습한 전략을 언급함)는 일반적인 바둑 전략을 학습함으로써 승리할 수 없습니다.

여기서 KataGo에 대해 이야기해야 합니다. 이 기사에서 알 수 있듯이 KataGo는 여전히 가장 강력한 공개 Go AI 시스템이었습니다. 검색의 지원으로 KataGo는 초인적 존재인 ELF OpenGo와 Leela Zero를 물리칠 정도로 매우 강력하다고 할 수 있습니다. 이제 본 연구의 공격자는 매우 강력하다고 할 수 있는 KataGo를 물리쳤습니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

그림 1: 적대적인 전략으로 KataGo 피해자를 물리칩니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

  • 논문 주소: https://arxiv.org/pdf/2211.00241.pdf
  • 연구 홈페이지: https://goattack.alignmentfund.org/adversarial-policy- katago?row=0#no_search-board

흥미롭게도 이 연구에서 제안된 적대적 전략은 인간 플레이어를 이길 수 없으며 심지어 아마추어 플레이어도 제안된 모델보다 훨씬 뛰어난 성능을 발휘할 수 있습니다.

공격 방법

KataGo, AlphaZero와 같은 이전 방법은 대개 에이전트가 스스로 게임을 하도록 훈련시키며, 게임의 상대는 에이전트 자체입니다. MIT, UC Berkeley 등 기관의 이번 연구에서는 공격자(적대자)와 고정 피해자(피해자) 에이전트 간에 게임을 진행하며 공격자는 이러한 방식으로 훈련을 받습니다. 이 연구에서는 공격자가 단순히 게임 상대를 모방하는 것이 아니라 피해자 에이전트와의 게임 상호 작용을 활용하도록 훈련시키기를 희망합니다. 이 과정을 "피해자 플레이"라고 합니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

기존의 셀프 게임에서는 에이전트가 자체 정책 네트워크에서 샘플링하여 상대의 행동을 모델링합니다. 이 방법은 실제로 셀프 게임에 적합합니다. 그러나 피해자 플레이에서는 공격자의 정책 네트워크에서 피해자를 모델링하는 것은 잘못된 접근 방식입니다. 이 문제를 해결하기 위해 본 연구에서는 다음과 같은 두 가지 유형의 적대적 MCTS(A-MCTS)를 제안합니다.

  • A-MCTS-S: A-MCTS-S에서 연구원은 공격자의 검색 프로세스를 다음과 같이 설정합니다. 피해자가 체스 말을 움직일 때 공격자가 체스 말을 움직일 차례가 되면 피해자의 정책 네트워크에서 샘플을 얻습니다. 체스 말 , 공격자의 정책 네트워크에서 샘플링합니다.
  • A-MCTS-R: A-MCTS-S는 피해자의 능력을 과소평가하므로 본 연구에서는 A-MCTS-R 트리의 각 피해자 노드에서 A-MCTS-R을 제안합니다. 그러나 이러한 변경으로 인해 공격자에 대한 훈련 및 추론의 계산 복잡성이 증가합니다.

훈련 과정에서 연구에서는 냉동된 KataGo 피해자를 상대로 하는 게임에 대한 적대 전략을 훈련했습니다. 검색 없이 공격자는 KataGo 피해자를 상대로 99% 이상의 승률을 달성할 수 있으며 이는 유럽 상위 100명의 Go 플레이어와 비슷합니다. 또한, 훈련된 공격자는 피해자 에이전트를 상대로 64라운드에서 80% 이상의 승률을 달성했으며, 연구원들은 이 승률이 최고의 인간 바둑 선수와 비슷하다고 추정했습니다.

이 게임들은 본 연구에서 제안한 대적 전략이 완전한 도박이 아니라 공격자에게 유리한 위치에 수를 배치하도록 KataGo를 속여서 게임을 조기에 끝내는 것을 보여줍니다. 실제로 공격자는 최고의 인간 바둑 선수와 유사한 게임 전략을 이용할 수 있었지만 인간 아마추어에게는 쉽게 패배했습니다.

공격자의 인간 대결 능력을 테스트하기 위해 연구에서는 논문의 제1저자인 Tony Tong Wang에게 실제로 공격자 모델과 대결해 보도록 요청했습니다. Wang은 이 연구 프로젝트 이전에 Go를 배운 적이 없었지만 여전히 공격자 모델을 큰 차이로 이겼습니다. 이는 본 연구에서 제안한 적대적 전략이 최고의 인간 플레이어를 이길 수 있는 AI 모델을 이길 수 있지만 인간 플레이어를 이길 수는 없음을 보여줍니다. 이는 일부 AI Go 모델에 버그가 있음을 나타낼 수 있습니다.

평가 결과

공격 피해자 정책 네트워크

먼저 연구자들은 KataGo에 대한 자체 공격 방법의 성능을 평가한 결과(Wu, 2019) A-MCTS-S 알고리즘이 검색 없는 최신(KataGo의 최신 네트워크)은 99% 이상의 승률을 달성합니다.

아래 그림 3과 같이 연구자들은 초기 정책 네트워크와 최신 정책 네트워크에서 자기 대결 전략의 성능을 평가했습니다. 그들은 대부분의 훈련 동안 자기 공격자가 두 피해자 모두를 상대로 높은 승률(90% 이상)을 달성했다는 사실을 발견했습니다. 그러나 시간이 지날수록 공격자는 Late를 Overfitting하게 되고, Initial에 대한 승률은 약 20% 수준으로 떨어진다.

연구원들은 최신 대비 최고의 카운터 전략 체크포인트도 평가하여 99% 이상의 승률을 달성했습니다. 더욱이, 적대적 전략이 피해자 시간 단계의 0.3%인 3.4 × 10^7 시간 단계에 대해서만 훈련되는 동안 이러한 높은 승률이 달성됩니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

검색을 통해 피해자로 이동

연구원들은 적대 전략을 하위 검색 메커니즘으로 성공적으로 마이그레이션하고 검색 최신 능력에 대해 이전 섹션에서 훈련한 적대 전략을 평가했습니다. 아래 그림 4a에서 볼 수 있듯이 피해자에 대한 A-MCTS-S의 승률은 32번의 피해자 라운드에서 80%로 떨어졌습니다. 하지만 여기서 피해자는 학습 및 추론 과정에서 검색을 하지 않습니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

또한 연구원들은 A-MCTS-R도 테스트한 결과 더 나은 성능을 발휘하여 32라운드에서 최신에 비해 99% 이상의 승률을 달성했지만 128라운드에서는 승률이 10 미만으로 떨어지는 것을 확인했습니다. %.

그림 4b에서 연구원들은 공격자가 4096 라운드에 도달했을 때 A-MCTS-S가 최신을 상대로 최대 54%의 승률을 달성한다는 것을 보여줍니다. 이는 200 에포크에서 49%의 승률을 달성한 A-MCTS-R의 성능과 매우 유사합니다.

기타 평가

아래 그림 9에서 볼 수 있듯이 연구원들은 최신이 더 강력한 에이전트이지만 최신에 대해 훈련된 공격자가 초기보다 최신에 대해 더 나은 성능을 발휘한다는 것을 발견했습니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

마지막으로 연구원은 피해자 가치 예측, 하드 코딩된 방어 평가 등 공격 원리에 대해 논의했습니다. 아래 그림 5에서 볼 수 있듯이 모든 기본 공격은 훈련받은 적대적 전략보다 성능이 훨씬 나쁩니다.

마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.

자세한 기술적인 내용은 원본 문서를 참조하세요.

위 내용은 마법을 사용하여 마법을 물리치세요! 최고의 인간 플레이어와 맞먹는 Go AI가 동료에게 패했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Laravel 's geospatial : 대화식지도의 최적화 및 많은 양의 데이터 Laravel 's geospatial : 대화식지도의 최적화 및 많은 양의 데이터 Apr 08, 2025 pm 12:24 PM

7 백만 레코드를 효율적으로 처리하고 지리 공간 기술로 대화식지도를 만듭니다. 이 기사는 Laravel과 MySQL을 사용하여 7 백만 개 이상의 레코드를 효율적으로 처리하고 대화식지도 시각화로 변환하는 방법을 살펴 봅니다. 초기 챌린지 프로젝트 요구 사항 : MySQL 데이터베이스에서 7 백만 레코드를 사용하여 귀중한 통찰력을 추출합니다. 많은 사람들이 먼저 프로그래밍 언어를 고려하지만 데이터베이스 자체를 무시합니다. 요구 사항을 충족시킬 수 있습니까? 데이터 마이그레이션 또는 구조 조정이 필요합니까? MySQL이 큰 데이터로드를 견딜 수 있습니까? 예비 분석 : 주요 필터 및 속성을 식별해야합니다. 분석 후, 몇 가지 속성만이 솔루션과 관련이 있음이 밝혀졌습니다. 필터의 타당성을 확인하고 검색을 최적화하기위한 제한 사항을 설정했습니다. 도시를 기반으로 한지도 검색

MySQL을 해결하는 방법을 시작할 수 없습니다 MySQL을 해결하는 방법을 시작할 수 없습니다 Apr 08, 2025 pm 02:21 PM

MySQL 시작이 실패하는 데는 여러 가지 이유가 있으며 오류 로그를 확인하여 진단 할 수 있습니다. 일반적인 원인에는 포트 충돌 (포트 점유 체크 및 구성 수정), 권한 문제 (서비스 실행 사용자 권한 실행), 구성 파일 오류 (파라미터 설정 확인), 데이터 디렉토리 손상 (데이터 복원 또는 테이블 공간 재건), IBDATA 테이블 공간 문제 (IBDATA1 파일 확인), 플러그로드 (확인 오류 로그)가 포함됩니다. 문제를 해결할 때 오류 로그를 기반으로 문제를 분석하고 문제의 근본 원인을 찾고 문제를 방지하고 해결하기 위해 정기적으로 데이터를 백업하는 습관을 개발해야합니다.

Vue Axios의 시간 초과를 설정하는 방법 Vue Axios의 시간 초과를 설정하는 방법 Apr 07, 2025 pm 10:03 PM

vue axios의 타임 아웃을 설정하려면 axios 인스턴스를 생성하고 시간 초과 옵션을 지정할 수 있습니다. 글로벌 설정에서 : vue.prototype. $ axios = axios.create ({timeout : 5000}); 단일 요청 : this. $ axios.get ( '/api/user', {timeout : 100000}).

설치 후 MySQL을 사용하는 방법 설치 후 MySQL을 사용하는 방법 Apr 08, 2025 am 11:48 AM

이 기사는 MySQL 데이터베이스의 작동을 소개합니다. 먼저 MySQLworkBench 또는 명령 줄 클라이언트와 같은 MySQL 클라이언트를 설치해야합니다. 1. MySQL-Uroot-P 명령을 사용하여 서버에 연결하고 루트 계정 암호로 로그인하십시오. 2. CreateABase를 사용하여 데이터베이스를 작성하고 데이터베이스를 선택하십시오. 3. CreateTable을 사용하여 테이블을 만들고 필드 및 데이터 유형을 정의하십시오. 4. InsertInto를 사용하여 데이터를 삽입하고 데이터를 쿼리하고 업데이트를 통해 데이터를 업데이트하고 DELETE를 통해 데이터를 삭제하십시오. 이러한 단계를 마스터하고 일반적인 문제를 처리하는 법을 배우고 데이터베이스 성능을 최적화하면 MySQL을 효율적으로 사용할 수 있습니다.

원격 선임 백엔드 엔지니어 (플랫폼)에는 원이 필요합니다 원격 선임 백엔드 엔지니어 (플랫폼)에는 원이 필요합니다 Apr 08, 2025 pm 12:27 PM

원격 선임 백엔드 엔지니어 구직 회사 : 원 위치 : 원격 사무실 직무 유형 : 전임 급여 : $ 130,000- $ 140,000 직무 설명 전체 소프트웨어 개발 라이프 사이클을 다루는 Circle Mobile 애플리케이션 및 공개 API 관련 기능의 연구 및 개발에 참여합니다. 주요 책임은 독립적으로 Rubyonrails를 기반으로 개발 작업을 완료하고 React/Redux/Relay 프론트 엔드 팀과 협력합니다. 웹 애플리케이션의 핵심 기능 및 개선을 구축하고 기능 설계 프로세스 전반에 걸쳐 설계자 및 리더십과 긴밀히 협력하십시오. 긍정적 인 개발 프로세스를 촉진하고 반복 속도를 우선시하십시오. 6 년 이상의 복잡한 웹 애플리케이션 백엔드가 필요합니다.

MySQL이 JSON을 반환 할 수 있습니다 MySQL이 JSON을 반환 할 수 있습니다 Apr 08, 2025 pm 03:09 PM

MySQL은 JSON 데이터를 반환 할 수 있습니다. json_extract 함수는 필드 값을 추출합니다. 복잡한 쿼리의 경우 where 절을 사용하여 JSON 데이터를 필터링하지만 성능 영향에주의하십시오. JSON에 대한 MySQL의 지원은 지속적으로 증가하고 있으며 최신 버전 및 기능에주의를 기울이는 것이 좋습니다.

MySQL 설치 후 데이터베이스 성능을 최적화하는 방법 MySQL 설치 후 데이터베이스 성능을 최적화하는 방법 Apr 08, 2025 am 11:36 AM

MySQL 성능 최적화는 설치 구성, 인덱싱 및 쿼리 최적화, 모니터링 및 튜닝의 세 가지 측면에서 시작해야합니다. 1. 설치 후 innodb_buffer_pool_size 매개 변수와 같은 서버 구성에 따라 my.cnf 파일을 조정해야합니다. 2. 과도한 인덱스를 피하기 위해 적절한 색인을 작성하고 Execution 명령을 사용하여 실행 계획을 분석하는 것과 같은 쿼리 문을 최적화합니다. 3. MySQL의 자체 모니터링 도구 (showprocesslist, showstatus)를 사용하여 데이터베이스 건강을 모니터링하고 정기적으로 백업 및 데이터베이스를 구성하십시오. 이러한 단계를 지속적으로 최적화함으로써 MySQL 데이터베이스의 성능을 향상시킬 수 있습니다.

산성 특성 이해 : 신뢰할 수있는 데이터베이스의 기둥 산성 특성 이해 : 신뢰할 수있는 데이터베이스의 기둥 Apr 08, 2025 pm 06:33 PM

데이터베이스 산 속성에 대한 자세한 설명 산 속성은 데이터베이스 트랜잭션의 신뢰성과 일관성을 보장하기위한 일련의 규칙입니다. 데이터베이스 시스템이 트랜잭션을 처리하는 방법을 정의하고 시스템 충돌, 전원 중단 또는 여러 사용자의 동시 액세스가 발생할 경우에도 데이터 무결성 및 정확성을 보장합니다. 산 속성 개요 원자력 : 트랜잭션은 불가분의 단위로 간주됩니다. 모든 부분이 실패하고 전체 트랜잭션이 롤백되며 데이터베이스는 변경 사항을 유지하지 않습니다. 예를 들어, 은행 송금이 한 계정에서 공제되지만 다른 계정으로 인상되지 않은 경우 전체 작업이 취소됩니다. BeginTransaction; updateAccountssetBalance = Balance-100WH

See all articles