오르고, 점프하고, 좁은 틈을 건너는 오픈소스 강화학습 전략으로 로봇견 파쿠르 가능

파쿠르는 익스트림 스포츠로, 복잡한 환경에서 다양한 장애물을 빠르게 극복해야 하는 로봇, 특히 네발 달린 로봇견에게는 큰 도전입니다. 일부 연구에서는 참조 동물 데이터나 복잡한 보상을 사용하려고 시도했지만 이러한 접근 방식은 다양하지만 맹목적이거나 비전 기반이지만 장면별 파쿠르 기술을 생성합니다. 그러나 자율 파쿠르를 위해서는 로봇이 다양한 시나리오를 인식하고 신속하게 대응하기 위해 비전 기반의 다양한 일반 기술을 학습해야 합니다.

최근에는 로봇 개 파쿠르 영상이 입소문을 탔습니다. 영상 속 로봇 개는 다양한 상황에서 다양한 장애물을 빠르게 극복했습니다. 예를 들어 철판 아래 틈새를 통과하고 나무 상자 위로 올라간 다음 다른 나무 상자로 점프하는 일련의 움직임이 매끄럽고 매끄럽습니다.

이 일련의 움직임은 보여줍니다. 로봇개는 땅에 달라붙기, 기어오르기, 점프하기의 세 가지 기본 기술을 익혔습니다.

로봇 개가 실패하면 장애물을 극복하고 몇 번 더 시도해야 합니다.

이 콘텐츠는 중국어로 다시 작성되었습니다. 이 로봇 개는 저가형 로봇을 위해 개발된 '파쿠르' 기술 학습 프레임워크를 기반으로 합니다. 이 프레임워크는 Shanghai Qizhi Research Institute, Stanford University, ShanghaiTech University, CMU 및 Tsinghua University의 연구원들이 공동으로 제안했으며 해당 연구 논문은 CoRL 2023(Oral)에 선정되었습니다. 이 연구 프로젝트는 오픈 소스입니다

논문 주소: https://arxiv.org/abs/2309.05665

프로젝트 주소: https://github.com/ZiwenZhuang/parkour

방법 소개

이 연구에서는 참조 모션 데이터 없이 간단한 보상을 사용하여 여러 파쿠르 기술을 학습할 수 있는 엔드투엔드 비전 기반 파쿠르 전략을 학습하기 위한 새로운 오픈 소스 시스템을 소개합니다.

구체적으로, 본 연구에서는 로봇이 높은 장애물 오르기, 큰 틈 뛰어넘기, 낮은 장애물 아래로 기어가기, 작은 틈 통과하기, 달리기 등의 기술을 학습하고, 이러한 기술을 파쿠르로 번역할 수 있도록 고안된 강화학습 방법을 제안합니다. 하나의 비전에 기초한 전략. 동시에 이러한 기술은 자기중심적 깊이 카메라를 사용하여 4족 로봇으로 이전됩니다.

본 연구에서 제안한 파쿠르 전략을 저가형 로봇에 성공적으로 배포하려면 온보드 컴퓨팅(Nvidia Jetson), 공중 깊이 카메라(Intel)를 사용하기만 하면 됩니다. Realsense) 및 온보드 전원 공급 장치, 모션 캡처, LiDAR, 다중 깊이 카메라 및 많은 계산이 필요 없음

파쿠르 전략을 훈련하기 위해 연구는 다음 세 단계를 수행했습니다. 작업:

The 첫 번째 단계: 연성 동적 제약 조건을 사용한 강화 학습 사전 훈련. 이 연구에서는 자동 코스를 사용하여 로봇이 장애물을 건너는 방법을 학습하고 로봇이 장애물을 극복하는 방법을 점차적으로 학습하도록 장려합니다

두 번째 단계: 엄격한 동적 제약 조건을 사용하여 미세 조정하는 강화 학습. 연구에서는 이 단계에서 모든 동적 제약을 적용하고 현실적인 역학을 사용하여 사전 훈련 단계에서 학습된 로봇의 행동을 미세 조정합니다.

세 번째 단계: 증류. 각 개별 파쿠르 기술을 학습한 후 연구에서는 Dagger를 사용하여 온보드 인식 및 계산만 사용하여 다리가 있는 로봇에 배포할 수 있는 비전 기반 파쿠르 정책(RNN으로 매개변수화)으로 추출합니다.

실험 및 결과

훈련에서 연구는 아래 표 1과 같이 각 기술에 해당하는 장애물 크기를 설정했습니다.

연구 광범위한 시뮬레이션과 실제 -생명 실험이 수행되었으며, 결과는 파쿠르 전략을 통해 저비용의 4족 보행 로봇이 온보드 컴퓨팅, 온보드 시각적 감지 및 온보드 전력을 포함하여 도전적인 환경을 사용하여 횡단할 수 있는 적절한 파쿠르 기술을 자율적으로 선택하고 수행할 수 있음을 보여줍니다. 최대 0.40m(로봇 높이의 1.53배)까지 장애물을 오르고, 최대 0.60m(로봇 길이의 1.5배) 큰 틈을 뛰어넘고, 0.2m(로봇 높이의 0.76배)만큼 낮은 장애물도 뛰어넘을 수 있다. 0.28m의 좁은 틈(로봇 폭보다 작은)을 기울여서 계속해서 앞으로 달릴 수 있습니다.

또한 연구에서는 제안된 방법을 여러 기본 방법과 비교하고 시뮬레이션 환경에서 절제 실험을 수행했습니다. 구체적인 결과는 표 2에 나와 있습니다.

관심 있는 독자는 원본 논문을 읽고 연구 내용에 대해 자세히 알아볼 수 있습니다

위 내용은 오르고, 점프하고, 좁은 틈을 건너는 오픈소스 강화학습 전략으로 로봇견 파쿠르 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!