상하이교통대학교 동문이 최우수 논문을 수상하고, 최고의 로봇공학 학회인 CoRL 2022의 수상이 발표되었습니다.

CoRL은 2017년 처음 개최된 이래 로봇공학과 머신러닝의 교차점에서 세계 최고의 학술회의로 자리매김했습니다. CoRL은 이론 및 응용을 포함하여 로봇 공학, 기계 학습 및 제어와 같은 다양한 주제를 다루는 로봇 학습 연구를 위한 단일 트랙 컨퍼런스입니다.

2022 CoRL 컨퍼런스가 12월 14일부터 18일까지 뉴질랜드 오클랜드에서 개최됩니다.

​

이번 컨퍼런스에는 총 504편의 논문이 접수되었으며, 최종적으로 구두 논문 34편, 포스터 논문 163편이 접수되었으며 합격률은 39%였습니다.

​

현재 CoRL 2022에서는 Best Paper Award, Best System Paper Award, Special Innovation Award를 포함한 모든 시상을 발표했습니다. 펜실베이니아 대학교 GRASP 연구소 소장이자 상하이 자오퉁 대학교 졸업생인 Kun Huang이 이번 컨퍼런스에서 최우수 논문상을 수상했습니다.

Best Paper Award

이번 학회의 최우수 논문상 수상자는 University of Pennsylvania의 연구입니다.

​

• 논문 제목: 로봇 평가를 위한 로봇 훈련: 정책 학습을 위한 예제 기반 대화형 보상 기능
• 저자: Kun Huang, Edward Hu, Dinesh Jayaraman
• 논문 링크: https://openreview.net/pdf?id=sK2aWU7X9b8

Abstract: 종종 물리적 상호작용은 테이블 다리를 당겨서 안정적인지 아니면 물병을 돌리는지 평가하는 등 덜 명확한 정보를 드러내는 데 도움이 됩니다. 누출 여부를 확인하기 위해 거꾸로 뒤집은 연구에서는 로봇이 기술을 수행하려는 시도의 결과를 평가하도록 로봇을 훈련함으로써 이러한 대화형 동작이 자동으로 획득될 수 있다고 제안합니다. 이러한 평가는 테이블 다리 조이기 등의 목표 기술을 수행하기 위한 강화 학습 정책을 훈련하는 데 사용되는 IRF(대화형 보상 함수) 역할을 합니다. 또한 IRF는 전체 교육이 완료된 후에도 온라인 작업 실행을 개선하기 위한 검증 메커니즘 역할을 할 수 있습니다. 특정 작업에 대해 IRF 교육은 매우 편리하며 추가 사양이 필요하지 않습니다.

평가 결과에 따르면 IRF는 상당한 성능 향상을 달성할 수 있으며 데모 또는 신중하게 만들어진 보상에 대한 액세스를 통해 기준선을 능가할 수도 있습니다. 예를 들어, 아래 그림에서 로봇은 먼저 문을 닫은 다음 대칭 문 손잡이를 돌려 문을 완전히 잠가야 합니다.

도어 잠금 평가 예시 시연

다음 실험의 목적은 시각적으로 동일한 블록 3개를 안정된 타워에 쌓는 것입니다. 하나의 작은 블록은 다른 두 개의 블록보다 상당히 큽니다. 가장 좋은 전략은 맨 아래에 배치하는 것입니다.

적층 평가 예시 시연

알고리즘의 견고성과 일반성을 확인하기 위해 본 연구에서는 9개의 관절이 있는 D'Claw를 사용한 실제 로봇 조임 실험에서 이를 테스트했습니다. 이 작업의 목적은 4핀 밸브를 시계 방향으로 약 180° 회전하여 조여진 상태(밸브 베이스의 흰색 선)로 만드는 것입니다.

작가 소개​

이번 CoRL 2022 최우수 논문상을 수상한 저자는 Kun Huang, Edward Hu, Dinesh Jayaraman 세 분입니다.

Dinesh Jayaraman은 펜실베이니아 대학교 GRASP 연구소의 조교수입니다. 그는 컴퓨터 비전, 머신 러닝, 그리고 로봇 공학.

Kun Huang은 펜실베이니아 대학교 GRASP 연구소의 마스터이며 Dinesh Jayaraman 교수의 지도 아래 강화 학습을 연구하고 있습니다. 그는 미시간 대학교에서 컴퓨터 과학 학사학위를 취득했으며, 그곳에서 Dmitry Berenson 교수와 함께 로봇 인식에 관해 연구했습니다. Kun Huang은 Shanghai Jiao Tong University에서 학사 학위를 취득했습니다. 그의 연구 관심 분야는 로봇공학과 실제 응용 분야입니다. Kun Huang은 석사 학위 기간 동안 Waymo에서 인턴을 했으며 졸업 후 기계 학습 엔지니어로 Cruise에 합류할 예정입니다.

Linkedin 홈페이지: https://www.linkedin.com/in/kun-huang-620034171/

Edward S. Hu는 펜실베니아 대학교 GRASP 연구소의 박사과정 학생입니다. 디네시 자야라만 교수. 그의 주요 연구 관심 분야는 모델 기반 강화 학습입니다. Edward는 University of Southern California에서 컴퓨터 과학 석사 및 학사 학위를 취득했으며, 그곳에서 Joseph J. Lim 교수와 함께 로봇을 이용한 강화 및 모방 학습을 연구했습니다.

Best Paper Shortlist

이 회의에서 총 3개의 논문이 최우수 논문상 후보에 올랐습니다. 최종 우승 논문을 제외하고 나머지 2개의 논문은 다음과 같습니다. 제목: 거친 부분 데모의 적대적 모방을 통한 학습 민첩한 기술

저자: Chenhao Li, Marin Vlastelica, Sebastian Blaes, Jonas Frey, Felix Grimminger, Georg Martius

문서 링크: https://arxiv.org/ pdf/2206.11693.pdf
• ​
• 논문 제목: Supercharge Imitation with Regularized Optimal Transport

저자: Siddhant Haldar, Vaibhav Mathur, Denis Yarats, Lerrel Pinto

문서 링크: https://arxiv.org/pdf/2206.15469.pdf
Best System Paper Award
• 이번 컨퍼런스에서 Best System Paper Award 수상자는 CMU와 UC Berkeley의 연구입니다. ： 题 논문 제목: EGOCENTRIC VISION
• 을 사용하여 도전적인 지형에서의 다리 운동 저자: Ananye Agarwal, Ashish Kumar, Jitendra Malik, DEEPAK PATHAK

논문 링크: https: // arxiv.org/pdf/2211.07638.pdf

요약: 동물은 시각을 사용하여 정확하고 민첩한 움직임을 만들 수 있으며, 이 능력을 복제하는 것은 로봇 공학의 오랜 목표였습니다. 전통적인 접근 방식은 문제를 고도 매핑 및 거점 계획 단계로 나누는 것입니다. 그러나 고도 매핑은 결함과 넓은 지역의 소음에 취약하고 특수 하드웨어가 필요하며 생물학적으로 실행 불가능합니다.

• 본 논문에서 연구원들은 계단, 연석, 디딤돌 및 틈새를 횡단할 수 있는 최초의 엔드 투 엔드 이동 시스템을 제안하고 단일 전면 깊이 카메라를 사용하여 중형 4족 로봇에서 이를 시연합니다. 이런 결과를 얻었습니다. 로봇의 크기가 작기 때문에 다른 곳에서는 볼 수 없는 특화된 보행 패턴을 발굴할 필요가 있습니다. 카메라는 카메라 뒤와 아래의 지형을 추정하기 위해 과거 정보를 기억하는 전략을 숙지해야 합니다.

  연구원들은 시뮬레이션 환경에서 로봇의 전략을 훈련했습니다. 훈련은 두 단계로 나뉩니다. 먼저 강화 학습을 사용하여 낮은 계산 비용으로 심층 이미지 변형에 대한 정책을 훈련한 다음 심층 지도 학습을 사용하여 이를 최종 정책으로 구체화합니다.

  ​

  최종 전략은 현실 세계로 전송 가능하며 로봇의 제한된 컴퓨팅 성능에서 실시간으로 실행될 수 있습니다. 미끄러운 표면이나 암석 지형과 같은 방해 요소에 견고하면서도 광범위한 지형을 횡단할 수 있습니다.

  디딤돌과 간격

  로봇은 다양한 구성의 바 의자를 밟고 계단 길이를 조정하여 넓은 간격에 걸칠 수 있습니다. 뒷발 근처에는 카메라가 없기 때문에 로봇은 바 의자의 위치를 ​​기억하고 그에 따라 뒷발을 배치해야 합니다.

  

  계단과 연석

  로봇은 최대 높이 24cm, 폭 30cm의 계단을 오를 수 있습니다. 다양한 조명 조건에서 다양한 계단과 연석에 전략이 적용됩니다. 간격이 고르지 않은 계단에서는 처음에는 로봇이 꼼짝 못하게 되지만 결국에는 등반 동작을 사용하여 이러한 장애물을 넘을 수 있게 됩니다.

  

  구조화되지 않은 지형

  로봇은 훈련 범주에 속하지 않는 구조화되지 않은 지형을 횡단할 수 있어 시스템의 일반화 기능을 입증합니다.

  

  어두운 곳에서의 움직임

  깊이 카메라는 적외선을 사용하여 패턴을 투사하여 주변 조명이 거의 없는 상황에서도 깊이를 정확하게 추정합니다.

  견고함

  이 전략은 높은 힘(높이에서 5kg의 무게를 던짐)과 미끄러운 표면(플라스틱 시트에 물을 부은 경우)에 강력합니다. 이 연구에는 4명의 저자가 있습니다.

  Jitendra Malik은 현재 UC Berkeley 전기 공학 및 컴퓨터 과학과의 Arthur J. Chick 교수로 재직하고 있습니다. 그의 연구 분야에는 컴퓨터 비전, 인간 비전의 컴퓨터 모델링, 컴퓨터 그래픽 및 생물학적 이미지 분석이 포함됩니다.

  이 수상 경력에 빛나는 연구의 저자 중 한 명인 Ashish Kumar는 박사 과정 학생입니다. Deepak Pathak은 현재 카네기멜론대학교에서 조교수로 재직하고 있습니다. 캘리포니아대학교 버클리캠퍼스에서 박사학위를 취득했으며, 연구 주제는 머신러닝, 로봇공학, 컴퓨터 비전입니다.

  이 수상 경력이 있는 연구의 저자 중 한 명인 Ananye Agarwal은 박사 과정 학생입니다.

  또한 Deepak Pathak은 이번 컨퍼런스에서 최우수 시스템 논문상 후보 목록에 대한 또 다른 연구를 진행했습니다.

  • 논문 제목: Deep Whole-Body Control: Learning a Unified Policy for Manipulation and Locomotion
  • 저자: Zipeng Fu, Xuxin Cheng, Deepak Pathak
  • 논문 링크: https://arxiv.org/abs /2210.10044

  특별혁신상

  이번 컨퍼런스에서도 특별혁신상을 선정하였습니다. 이번 연구는 구글의 많은 연구자들이 공동으로 수행한 것입니다.

  

  • 논문 제목: 내가 할 수 있는 대로 하고, 내가 말하는 대로 하지 마세요: 로봇 여유의 기반 언어
  • 저자: Brian Ichter, Anthony Brohan, Michael Ahn 등
  • 논문 링크: https: //arxiv.org/pdf/2204.01691.pdf

  논문 요약:대규모 언어 모델은 세계에 대한 많은 양의 의미론적 지식을 인코딩할 수 있으며 이러한 지식은 로봇에게 매우 유용합니다. 그러나 언어 모델에는 실제 세계에 대한 경험이 부족하여 의미론을 활용하여 주어진 작업에 대한 결정을 내리기가 어렵다는 단점이 있습니다.

  Google 연구원들은 실행 가능하고 상황에 따라 적절한 자연어 작업을 수행하도록 모델을 제한하는 데 사용되는 사전 학습 기술을 통해 대규모 언어 모델을 위한 실제 기반을 제공할 것을 제안합니다. 로봇은 작업에 대한 높은 수준의 의미론적 지식을 제공하는 언어 모델의 "손과 눈" 역할을 할 수 있습니다. 이 연구는 낮은 수준의 기술이 대규모 언어 모델과 결합되어 언어 모델이 복잡하고 시간이 연장된 명령을 실행하는 프로세스에 대한 높은 수준의 지식을 제공하는 동시에 이러한 기술과 관련된 가치 기능이 연결 수단을 제공하는 방법을 보여줍니다. 특정 물리적 환경에 대한 지식이 필요합니다.

  연구원들은 LLM(대형 언어 모델)을 로봇의 물리적 작업과 결합할 때 이 원리를 사용했습니다. LLM이 단순히 명령을 해석하도록 하는 것 외에도 단일 작업을 평가하여 전체 기회를 완료하는 데에도 사용할 수 있습니다. 고급 지침이 도움이 될 것입니다. 간단히 말해서 각 작업에는 언어 설명이 있을 수 있으며 프롬프트 언어 모델을 사용하여 이러한 작업의 점수를 매길 수 있습니다. 또한 각 작업에 해당하는 어포던스 함수가 ​​있는 경우 현재 상태(예: 학습된 가치 함수)에서 성공 가능성을 정량화하는 것이 가능합니다. 두 확률 값의 곱은 로봇이 지시에 도움이 되는 행동을 성공적으로 완료할 확률입니다. 이 확률에 따라 일련의 동작을 정렬하고 확률이 가장 높은 동작을 선택합니다.

  

  아래 예에서는 사과 집는 것을 돕는 로봇을 보여줍니다.

  

위 내용은 상하이교통대학교 동문이 최우수 논문을 수상하고, 최고의 로봇공학 학회인 CoRL 2022의 수상이 발표되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!