재작성 제목: 바이트, 로봇 작동 성공률 및 효과 향상을 위해 Vi-PRoM 시각적 사전 훈련 프로그램 출시

최근 몇 년 동안 대규모 실제 데이터에 대한 시각적 사전 훈련이 크게 발전하여 픽셀 관찰 기반 로봇 학습에서 큰 잠재력을 보여주었습니다. 그러나 이러한 연구는 사전 훈련 데이터, 방법 및 모델 측면에서 다릅니다. 따라서 어떤 유형의 데이터, 사전 훈련 방법 및 모델이 로봇 제어를 더 잘 지원할 수 있는지는 여전히 열려 있는 질문입니다

이를 기반으로 ByteDance 연구팀의 연구원은 사전 훈련 데이터 세트, 모델 아키텍처 및 훈련 방법의 세 가지 기본 관점 시각적 사전 훈련 전략이 로봇 조작 작업에 미치는 영향을 종합적으로 연구하고 로봇 학습에 유익한 몇 가지 중요한 실험 결과를 제공했습니다. 또한 자기 지도 학습과 지도 학습을 결합한 Vi-PRoM이라는 로봇 작동을 위한 비전 사전 훈련 방식을 제안했습니다. 전자는 대조 학습을 사용하여 레이블이 지정되지 않은 대규모 데이터에서 잠재 패턴을 얻는 반면, 후자는 시각적 의미와 시간적 동적 변화를 학습하는 것을 목표로 합니다. 다양한 시뮬레이션 환경과 실제 로봇에서 진행된 수많은 로봇 동작 실험을 통해 본 솔루션의 우수성이 입증되었습니다.

• 논문 주소: https://arxiv.org/pdf/2308.03620.pdf
• 프로젝트 주소: https://explore-pretrain-robot.github.io/

벤치마크 연구

사전 훈련된 데이터

EgoNet은 ImageNet보다 강력합니다. 대조 학습 방법을 통해 다양한 데이터 세트(예: ImageNet 및 EgoNet)에서 시각적 인코더를 사전 훈련하고 로봇 조작 작업에서 성능을 관찰합니다. 아래 표 1에서 볼 수 있듯이 EgoNet에서 사전 훈련된 모델은 로봇 작업 작업에서 더 나은 성능을 달성했습니다. 분명히 로봇은 작업 측면에서 비디오에 포함된 대화형 지식과 시간적 관계를 선호합니다. 또한, EgoNet의 자기 중심적 자연 이미지는 세계에 대해 더 글로벌한 맥락을 갖고 있으며, 이는 더 풍부한 시각적 특징을 학습할 수 있음을 의미합니다

모델 구조

ResNet-50이 더 나은 성능을 발휘합니다. 아래 표 2에서 볼 수 있듯이 ResNet-50과 ResNet-101은 로봇 조작 작업에서 ResNet-34보다 더 나은 성능을 발휘합니다. 게다가 모델이 ResNet-50에서 ResNet-101로 증가해도 성능은 향상되지 않습니다.

Pre-training method

원문의 의미에 따라 다시 작성해야 하는 내용은 "사전 학습 방법은 대조 학습을 선호합니다. 표 3에 표시된 것처럼 아래에서 MoCo-v3는 ImageNet에서 잘 수행되고 EgoNet 데이터는 모든 세트에서 MAE보다 우수합니다. 이는 대조 학습이 마스크 이미지 모델링보다 더 효과적이라는 것을 증명합니다. 또한 대조 학습을 통해 얻은 시각적 의미는 로봇 작동에 더 중요합니다. 마스크 이미지 모델링을 통해 학습한 구조정보입니다.” 재작성된 콘텐츠: 대조 학습이 선호되는 사전 학습 방법입니다. 표 3에서 볼 수 있듯이 MoCo-v3는 ImageNet 및 EgoNet 데이터 세트 모두에서 MAE보다 성능이 뛰어나며 대조 학습이 마스크 이미지 모델링보다 더 효과적이라는 것을 나타냅니다. 또한 마스크 이미지 모델링으로 학습한 구조적 정보보다 대조 학습을 통해 얻은 시각적 의미가 로봇 작동에 더 중요합니다

알고리즘 소개

본 연구에서는 위의 탐색을 바탕으로 다음과 같은 제안을 합니다. 로봇 작동을 위한 비전 사전 교육 솔루션(Vi-PRoM)입니다. 이 솔루션은 EgoNet 데이터 세트에서 ResNet-50을 사전 훈련하여 로봇 작동에 대한 포괄적인 시각적 표현을 추출합니다. 구체적으로, 우리는 먼저 대조 학습을 사용하여 자기 감독을 통해 EgoNet 데이터 세트에서 사람과 사물 간의 상호 작용 패턴을 얻습니다. 그런 다음 인코더의 표현을 더욱 풍부하게 하기 위해 시각적 의미론적 예측과 시간적 동적 예측이라는 두 가지 추가 학습 목표가 제안됩니다. 아래 그림은 Vi-PRoM의 기본 프로세스를 보여줍니다. 특히 이 연구에서는 시각적 의미와 시간 역학을 학습하기 위해 수동 라벨링이 필요하지 않습니다

실험 결과

이 연구 작업은 두 가지 시뮬레이션 환경(Franka Kitchen 및 MetaWorld)에서 광범위한 실험을 수행했습니다. 실험 결과는 제안된 사전 훈련 방식이 로봇 작동에서 이전의 최첨단 방법보다 성능이 우수하다는 것을 보여줍니다. Ablation 실험의 결과는 아래 표와 같으며, 이는 로봇 동작에 있어 시각적 의미 학습과 시간적 동적 학습의 중요성을 입증할 수 있습니다. 또한 두 학습 목표가 모두 없으면 Vi-PRoM의 성공률이 크게 떨어지며 시각적 의미 학습과 시간적 동적 학습 간의 협력 효과가 입증됩니다.

이 작업은 Vi-PRoM의 확장성에 대해서도 연구합니다. 아래 왼쪽 그림과 같이 Franka Kitchen과 MetaWorld 시뮬레이션 환경에서는 데모 데이터의 크기가 커질수록 Vi-PRoM의 성공률이 꾸준히 향상되는 것을 확인할 수 있습니다. 대규모 전문가 데모 데이터 세트에 대한 교육을 마친 후 Vi-PRoM 모델은 로봇 조작 작업에 대한 확장성을 보여줍니다.

Vi-PRoM의 강력한 시각적 표현 능력으로 실제 로봇이 서랍과 수납장 문을 성공적으로 열 수 있습니다

Franka Kitchen의 실험 결과에서 볼 수 있듯이, Vi- PRoM 5가지 작업에서 R3M보다 성공률이 높고 작업 완료도가 높습니다.

R3M:

Vi-PRoM:

메타월드에서는 Vi-의 시각적 표현으로 인해 좋은 성능을 배웠습니다. PRoM 의미론적 및 동적 기능은 행동 예측에 더 잘 사용될 수 있으므로 R3M에 비해 Vi-PRoM은 작업을 완료하는 데 더 적은 단계가 필요합니다.

R3M:

Vi-PRoM：

위 내용은 재작성 제목: 바이트, 로봇 작동 성공률 및 효과 향상을 위해 Vi-PRoM 시각적 사전 훈련 프로그램 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!