딥마인드 로봇이 탁구를 치는데 포핸드와 백핸드가 공중으로 미끄러져 인간 초보자를 완전히 제압했다.-일체 포함-php.cn

딥마인드 로봇이 탁구를 치는데 포핸드와 백핸드가 공중으로 미끄러져 인간 초보자를 완전히 제압했다.

PHPz

풀어 주다： 2024-08-09 16:01:32

원래의

1148명이 탐색했습니다.

하지만 공원에 있는 노인을 이길 수는 없을까요?

파리올림픽이 본격화되면서 탁구가 많은 주목을 받고 있습니다. 동시에 로봇은 탁구 경기에서도 새로운 돌파구를 마련했습니다.

방금 DeepMind는 탁구 경기에서 인간 아마추어 선수 수준에 도달할 수 있는 최초의 학습 로봇 에이전트를 제안했습니다.

딥마인드 로봇이 탁구를 치는데 포핸드와 백핸드가 공중으로 미끄러져 인간 초보자를 완전히 제압했다.

문서 주소: https://arxiv.org/pdf/2408.03906

이 DeepMind 로봇은 탁구를 얼마나 잘 치나요? 아마도 인간 아마추어 선수들과 동등할 것입니다:

포핸드와 백핸드 모두:

상대는 다양한 플레이 스타일을 사용하고 로봇도 이를 견딜 수 있습니다.

다양한 스핀으로 서브 받기 :

그러나 경쟁은 공원 노인들의 싸움만큼 치열하지 않은 것 같습니다.

로봇에게 탁구는 복잡한 저레벨 기술과 전략적인 게임 플레이를 익히는 것이 필요하며, 장기적인 훈련이 필요합니다. DeepMind는 차선책이지만 낮은 수준의 기술을 능숙하게 수행할 수 있는 전략이 더 나은 선택일 수 있다고 믿습니다. 이것이 체스나 바둑 같은 순수 전략 게임과 탁구를 구별하는 점입니다.

따라서 탁구는 고속 이동, 실시간 정밀하고 전략적인 의사결정, 시스템 설계, 인간 상대와의 직접적인 경쟁 등 로봇 능력 향상을 위한 귀중한 벤치마크입니다.

이에 대해 Google DeepMind의 수석 과학자는 "탁구 로봇은 고속 제어 및 인식 문제를 해결하는 데 도움이 될 것입니다."라고 칭찬했습니다.

이 연구는 Bots를 포함하여 로봇과 인간 간의 29가지 탁구 게임을 수행했습니다. 45%의 확률로 승리했습니다(13/29). 모든 인간 플레이어는 초보자부터 토너먼트 플레이어에 이르기까지 로봇이 이전에 본 적이 없는 플레이어였습니다.

최상급 플레이어를 상대로는 전 경기에서 패했지만, 초심자 상대로는 100%, 중급자 상대로는 55% 승리하며 인간 아마추어의 활약을 펼쳤습니다.

전반적으로 이 연구의 기여는 다음과 같습니다.

다음을 포함하는 계층적 및 모듈식 정책 아키텍처 제안:
다음에 유용한 하위 수준 컨트롤러 및 자세한 기술 설명 에이전트의 기능은 모델링되고 시뮬레이션과 현실 사이의 격차를 줄이는 데 도움이 됩니다.
낮은 수준의 기술을 갖춘 높은 수준의 컨트롤러를 선택하세요.
실제 작업 분포를 기반으로 한 반복 방법 정의, 자동 커리큘럼 정의 등 제로 샘플 시뮬레이션을 현실로 구현하는 기술입니다.
보이지 않는 상대에게 실시간으로 적응하세요.

방법 소개

에이전트는 낮은 수준의 스킬 라이브러리와 높은 수준의 컨트롤러로 구성됩니다. 낮은 수준의 스킬 풀은 포핸드 톱스핀, 백핸드 조준 또는 포핸드 서브와 같은 탁구의 특정 측면에 중점을 둡니다. 훈련 전략을 통합하는 것 외에도, 연구는 또한 각 하위 수준 기술의 강점, 약점 및 한계에 대한 정보를 오프라인과 온라인으로 수집하고 저장합니다. 하위 레벨 스킬 조정을 담당하는 상위 컨트롤러는 현재 게임 통계 및 스킬 설명을 기반으로 최고의 스킬을 선택합니다.

또한 연구에서는 초기 작업 조건의 시드로 소량의 인간 및 인간 대련 게임 데이터도 수집했습니다. 데이터 세트에는 위치, 속도 및 회전 정보가 포함됩니다. 그런 다음 강화 학습을 사용하여 시뮬레이션된 환경에서 에이전트를 훈련하고, 일부 기존 기술을 사용하여 정책을 실제 하드웨어에 원활하게 배포합니다.

에이전트는 더 많은 훈련 데이터를 생성하기 위해 인간과 함께 플레이합니다. 로봇이 계속 학습할수록 게임 표준은 점점 더 복잡해지며 에이전트는 점점 더 복잡한 동작을 학습할 수 있습니다. 이 하이브리드 "시뮬레이션-현실" 루프는 시간이 지남에 따라 로봇의 기술을 향상시킬 수 있는 자동화된 교육을 생성합니다.

Layered control

Layered control은 주로 다음과 같은 부분을 포함합니다:

탁구 플레이 스타일: 상위 수준 컨트롤러(HLC, 상위 수준 컨트롤러)는 먼저 사용할 플레이 스타일(포핸드 또는 상위 컨트롤러)을 결정합니다. 백핸드);
조정: 상대방과의 경기 통계를 기반으로 온라인에서 각 HLC의 선호도(H 값)를 유지합니다.
가장 효과적인 기술 선택: LLC가 조정한 H 값 샘플링을 기반으로 HLC가 후보에 오른 선수를 연결합니다.
업데이트: H 값과 상대 통계는 게임이 끝날 때까지 업데이트됩니다.

Results

연구진은 초급, 중급, 고급, 고급 + 기술을 포함하여 다양한 수준의 탁구 선수 29명과 에이전트를 비교했습니다. 인간 선수들은 표준 탁구 규칙에 따라 로봇을 상대로 세 게임을 펼쳤으나 로봇이 서브를 할 수 없어 규칙이 약간 수정되었습니다.

모든 상대와 대결하여 로봇은 45%의 경기와 46%의 게임을 승리했습니다. 기술 수준별로 분석한 결과, 봇은 초보자를 상대로 한 모든 경기에서 승리했고, 고급 및 고급+ 플레이어를 상대로 한 모든 경기에서 패했으며, 중급 플레이어를 상대로 한 경기의 55%를 승리했습니다. 이는 에이전트가 탁구 라운드에서 중급 인간 수준에 도달했음을 보여줍니다.

로봇이 고급 플레이어를 이길 수 없는 이유는 시뮬레이션 환경에서 정확하게 모델링하기 어려운 반응 속도, 카메라 감지 기능, 회전 처리 등 물리적, 기술적 한계 때문입니다.

로봇과의 대련도 매우 매력적입니다

연구 참가자들은 로봇과 노는 것이 매우 즐거웠다고 말하며 로봇에 '재미있다', '매력적이다'라는 점에서 높은 평가를 주었습니다. 그들은 또한 로봇과 다시 싸울 의향이 매우 높다고 만장일치로 표현했습니다. 자유시간에는 5분 동안 평균 4분06초 동안 로봇과 함께 놀았습니다.

백스핀을 잘 못하는 로봇

기술이 가장 뛰어난 참가자는 로봇이 백스핀을 잘 못 다룬다고 언급했습니다. 이 관찰을 테스트하기 위해 연구원들은 공의 스핀에 대한 로봇의 착지 속도를 플롯했으며 그 결과 로봇이 더 많은 백 스핀 공을 직면할수록 로봇의 착지 속도가 크게 떨어지는 것으로 나타났습니다. 이 결함은 부분적으로는 로봇이 낮은 공을 다룰 때 테이블과의 충돌을 피하려고 하기 때문에 발생하고, 두 번째로는 공의 회전을 실시간으로 판단하기가 정말 어렵다는 사실 때문입니다.