기본 모델과 로봇 개발 경로를 밝히는 리뷰-일체 포함-php.cn

원래 의미를 바꿀 필요는 없습니다. 로봇은 특히 스마트 기술과 결합될 때 무한한 가능성을 가질 수 있는 기술입니다. 최근 혁신적인 응용 프로그램을 갖춘 일부 대규모 모델은 로봇의 지능형 허브가 되어 로봇이 세상을 인식하고 이해하고 의사 결정을 내리고 계획을 세울 수 있도록 도울 것으로 예상됩니다.

최근 CMU의 Yonatan Bisk와 Google의 Fei Xia가 주도 딥마인드(DeepMind) 공동팀이 로봇 분야 기본 모델의 적용과 개발을 소개하는 리뷰 보고서를 발표했다. 보고서의 첫 번째 저자는 로봇 공학과 인공 지능의 교차점을 연구하는 CMU의 4학년 박사 과정 학생인 Yafei Hu입니다. 그와 협력하는 사람은 기본 모델을 통해 구체화된 지능을 탐구하는 데 중점을 둔 Quanting Xie입니다.

기본 모델과 로봇 개발 경로를 밝히는 리뷰

논문 주소: https://arxiv.org/pdf/2312.08782.pdf

다양한 환경에 자율적으로 적응할 수 있는 로봇을 개발하는 것은 언제나 인류의 꿈이었지만, 이는 길고도 긴 여정이었습니다. 긴 길 험난한 길. 이전에는 전통적인 딥러닝 방법을 사용하는 로봇 인식 시스템은 지도 학습 모델을 훈련하기 위해 일반적으로 대량의 라벨링된 데이터가 필요했으며, 크라우드소싱을 통해 대규모 데이터 세트에 라벨링하는 비용이 매우 높았습니다.

또한 기존 지도 학습 방법의 일반화 능력이 제한되어 있기 때문에 이러한 모델을 특정 시나리오나 작업에 배포하려면 일반적으로 이러한 훈련된 모델에는 신중하게 설계된 도메인 적응 기술이 필요하며, 이로 인해 추가 데이터 수집이 필요한 경우가 많습니다. 및 주석 단계. 마찬가지로, 기존 로봇 계획 및 제어 접근 방식에는 종종 세계, 에이전트 자체의 역학 및/또는 다른 에이전트의 역학에 대한 신중한 모델링이 필요합니다. 이러한 모델은 일반적으로 특정 환경이나 작업마다 구축되며, 조건이 변경되면 모델을 다시 구축해야 합니다. 이는 클래식 모델의 마이그레이션 성능에도 한계가 있음을 보여줍니다.

사실 많은 사용 사례에서 효과적인 모델을 구축하는 것은 비용이 너무 많이 들거나 아예 불가능합니다. 심층(강화) 학습 기반 동작 계획 및 제어 방법이 이러한 문제를 완화하는 데 도움이 되지만 여전히 분포 이동과 일반화 능력 저하로 어려움을 겪고 있습니다.

범용 로봇 시스템 개발에는 많은 어려움이 있지만, 최근 NLP를 위한 LLM(Large Language Model), 사용자 확산(User Diffusion) 등 자연어 처리(NLP)와 컴퓨터 비전(CV) 분야가 급속도로 발전하고 있습니다. 고화질 이미지 생성을 위한 모델, 강력한 시각적 모델 및 제로샷/퓨샷 생성과 같은 CV 작업을 위한 시각적 언어 모델입니다.

소위 "기초 모델"은 실제로 대규모 사전 학습 모델(LPTM)입니다. 그들은 강력한 시각적, 언어적 능력을 가지고 있습니다. 최근 이러한 모델은 로봇 공학 분야에도 적용되어 로봇 시스템에 개방형 인식, 작업 계획 및 모션 제어 기능을 제공할 것으로 예상됩니다. 로봇공학 분야의 기존 비전 및/또는 언어 기본 모델을 활용하는 것 외에도 일부 연구팀에서는 조작을 위한 동작 모델, 탐색을 위한 동작 계획 모델 등 로봇 작업을 위한 기본 모델을 개발하고 있습니다. 이러한 기본 로봇 모델은 강력한 일반화 기능을 보여주며 다양한 작업은 물론 특정 솔루션에도 적응할 수 있습니다. 시각/언어 기본 모델을 로봇 작업에 직접 활용하는 연구자도 있는데, 이는 서로 다른 로봇 모듈을 하나의 통합 모델로 통합할 수 있는 가능성을 보여준다.

시각 및 언어 기본 모델은 로봇 분야에서 유망한 전망을 갖고 있고, 새로운 로봇 기본 모델도 개발되고 있지만, 로봇 분야에는 여전히 해결하기 어려운 과제가 많이 있습니다.

실제 배포의 관점에서 모델은 종종 재현할 수 없거나, 다양한 로봇 형태로 일반화할 수 없거나(다중 구현 일반화), 환경에서 어떤 동작이 실현 가능한(또는 허용 가능한)지 정확하게 이해하기 어렵습니다. 또한 대부분의 연구에서는 객체와 장면의 의미론적 인식, 작업 수준 계획 및 제어에 초점을 맞춘 Transformer 기반 아키텍처를 사용합니다. 세계 역학을 위한 기본 모델이나 상징적 추론을 수행할 수 있는 기본 모델과 같은 로봇 시스템의 다른 부분은 덜 연구되었습니다. 이를 위해서는 도메인 간 일반화 기능이 필요합니다.

마지막으로 다양한 로봇 작업을 지원하는 더 큰 규모의 실제 데이터와 충실도가 높은 시뮬레이터도 필요합니다.

이 리뷰 논문은 기본 모델이 로봇 공학 분야의 핵심 과제를 해결하거나 완화하는 데 어떻게 도움이 될 수 있는지 이해하는 것을 목표로 로봇 공학 분야에서 사용되는 기본 모델을 요약합니다.

이 리뷰에서 연구원들이 사용하는 "기초 모델"이라는 용어에는 로봇 공학 분야의 두 가지 측면이 포함됩니다. (1) 주로 제로샷을 통해 이를 달성하는 기존의 주요 시각 및 언어 모델(2) ) 로봇이 생성한 데이터를 활용하여 로봇 작업을 해결하기 위한 기본 모델을 구체적으로 개발하고 적용합니다. 연구진은 관련 논문의 기본 모델에 대한 방법을 요약하고 해당 논문의 실험 결과에 대해 메타 분석을 실시했습니다

기본 모델과 로봇 개발 경로를 밝히는 리뷰

리뷰의 전체 구조

사전 지식

이 리뷰의 내용을 독자들이 더 잘 이해할 수 있도록 팀에서는 먼저 준비 지식 섹션을 제공합니다

먼저 로봇 공학에 대한 기본 지식과 현재 최고의 기술을 소개합니다. 여기서는 기본모델 시대 이전의 로봇공학 분야에서 사용된 방법에 중점을 두고 있다. 간략한 설명은 이렇습니다. 자세한 내용은 원문을 참조하시기 바랍니다.

로봇의 주요 구성 요소는 인식, 의사 결정 및 계획, 행동 생성의 세 부분으로 나눌 수 있습니다. 팀에서는 로봇 인식을 수동적 인식, 능동적 인식, 상태 추정으로 구분합니다.
로봇 의사결정 및 기획 섹션에서는 연구자가 고전적인 기획 방법과 학습 기반 기획 방법을 소개했습니다.
머신 액션 생성에도 고전적인 제어 방식과 학습 기반 제어 방식이 있습니다.

다음으로 팀은 기본 모델을 소개하고 주로 NLP 및 CV 분야에 중점을 둘 것입니다. 관련된 모델에는 LLM, VLM, 시각적 기본 모델 및 텍스트 조건부 이미지 생성 모델이 포함됩니다.

로봇공학 분야가 직면한 과제

일반적인 로봇 시스템의 다양한 모듈이 직면한 다섯 가지 핵심 과제. 그림 3은 이러한 5가지 과제의 분류를 보여줍니다.

기본 모델과 로봇 개발 경로를 밝히는 리뷰

일반화

로봇 시스템은 종종 환경을 정확하게 감지하고 이해하는 데 어려움을 겪습니다. 또한 한 작업에 대한 훈련 결과를 다른 작업으로 일반화하는 능력이 부족하여 실제 세계에서의 유용성이 더욱 제한됩니다. 또한 로봇 하드웨어가 다르기 때문에 모델을 다른 형태의 로봇으로 옮기는 것도 어렵습니다. 일반화 문제는 로봇의 기본 모델을 사용하여 부분적으로 해결될 수 있습니다. 다양한 로봇 형태에 대한 일반화와 같은 추가 질문에 대한 답변이 남아 있습니다.

데이터 부족

신뢰할 수 있는 로봇 모델을 개발하려면 대규모의 고품질 데이터가 중요합니다. 자율주행, 로봇 동작 궤적 등 현실 세계의 대규모 데이터 세트를 수집하려는 노력은 이미 진행 중이다. 그리고 인간의 시연에서 로봇 데이터를 수집하는 데는 비용이 많이 듭니다. 그러나 현실 세계에서 충분하고 광범위한 데이터를 수집하는 과정은 업무와 환경의 다양성으로 인해 더욱 복잡해집니다. 실제 세계에서 데이터를 수집하는 데 있어서 보안 문제도 있습니다. 또한, 현실 세계에서는 대규모로 데이터를 수집하는 것이 매우 어려우며, 기본 모델 학습에 사용되는 인터넷 규모의 이미지/텍스트 데이터를 수집하는 것은 더욱 어렵습니다.

이러한 문제를 해결하기 위해 많은 연구 노력이 시뮬레이션된 환경에서 합성 데이터를 생성하려고 시도했습니다. 이러한 시뮬레이션 환경은 매우 현실적인 가상 세계를 제공하여 로봇이 실제 시나리오에 가까운 상황에서 자신의 기술을 배우고 적용할 수 있도록 해줍니다. 그러나 시뮬레이션된 환경을 사용하는 데에는 특히 개체 다양성 측면에서 몇 가지 제한 사항이 있어 학습한 기술을 실제 상황에 직접 적용하기가 어렵습니다.

큰 잠재력을 지닌 접근 방식 중 하나는 공동 데이터 수집입니다. 그림 4a와 같이 다양한 실험실 환경과 로봇 유형의 데이터가 함께 수집됩니다. 그러나 팀은 Open-X 실시예 데이터 세트를 심층적으로 조사한 결과 데이터 유형 가용성 측면에서 몇 가지 제한 사항이 있음을 발견했습니다.

기본 모델과 로봇 개발 경로를 밝히는 리뷰

모델 및 원시 요구사항

전통적인 계획 및 제어 방법에는 일반적으로 신중하게 설계된 환경과 로봇 모델이 필요합니다. 이전의 학습 기반 방법(예: 모방 학습 및 강화 학습)은 엔드투엔드 방식으로 정책을 교육했습니다. 즉, 감각 입력에서 직접 제어 출력을 얻음으로써 모델을 구축하고 사용할 필요가 없습니다. 이러한 방법은 명시적 모델에 의존하는 문제를 부분적으로 해결할 수 있지만, 다양한 환경과 작업에 일반화하기 어려운 경우가 많습니다.

해결해야 할 두 가지 문제가 있습니다. (1) 모델 독립적이고 일반화를 잘할 수 있는 전략을 학습하는 방법은 무엇입니까? (2) 고전적인 모델 기반 방법을 적용하기 위해 우수한 세계 모델을 학습하는 방법은 무엇입니까?

작업 사양

범용 에이전트를 달성하기 위한 주요 과제는 작업 사양을 이해하고 이를 로봇의 현재 세계 이해에 기반을 두는 것입니다. 일반적으로 이러한 작업 사양은 로봇의 인지 및 물리적 능력의 한계를 제한적으로만 이해하는 사용자가 제공합니다. 이로 인해 이러한 작업 사양에 대해 어떤 모범 사례가 제공될 수 있는지, 이러한 사양 초안 작성이 충분히 자연스럽고 간단한지 여부를 포함하여 많은 질문이 제기됩니다. 로봇의 능력에 대한 이해를 바탕으로 작업 사양의 모호성을 이해하고 해결하는 것도 어렵습니다.

불확실성과 안전

실제 세계에 로봇을 배포하기 위한 주요 과제는 환경과 작업 사양에 내재된 불확실성을 처리하는 것입니다. 불확실성은 그 근원에 따라 인식론적 불확실성(지식 부족으로 인한 불확실성)과 우발적 불확실성(환경에 내재된 소음)으로 나눌 수 있습니다.

불확도 정량화(UQ) 비용이 너무 높아 연구와 응용이 지속 불가능할 수 있으며, 다운스트림 작업이 최적으로 해결되지 않을 수도 있습니다. 기본 모델의 지나치게 매개변수화된 특성을 고려할 때, 모델 일반화 성능을 저하하지 않고 확장성을 달성하려면 기본 아키텍처를 가능한 한 적게 변경하면서 훈련 방식을 보존하는 UQ 방법을 제공하는 것이 중요합니다. 자신의 행동에 대한 신뢰할 수 있는 신뢰도 추정을 제공하고 명확하게 명시된 피드백을 지능적으로 요청할 수 있는 로봇을 설계하는 것은 아직 해결되지 않은 과제로 남아 있습니다.

최근 몇 가지 진전이 있었지만 로봇이 경험을 통해 학습하여 전략을 미세 조정하고 새로운 환경에서 안전을 보장할 수 있는 능력을 갖추는 것은 여전히 어려운 일입니다.

현재 연구 방법 개요

이 기사에는 로봇의 기본 모델에 대한 현재 연구 방법도 요약되어 있습니다. 팀은 로봇 공학 분야에서 사용되는 기본 모델을 로봇용 기본 모델과 다시 작성된 콘텐츠인 RFM(로봇 기본 모델)이라는 두 가지 주요 범주로 나누었습니다.

로봇 기본 모델이란 추가적인 미세 조정이나 훈련 없이 제로 샘플 방식으로 로봇의 시각과 언어의 기본 모델을 사용하는 것을 말합니다. 비전 언어 사전 훈련 초기화를 통해 로봇 기본 모델을 웜 스타트하거나 로봇 데이터세트에서 직접 모델을 훈련할 수 있습니다

기본 모델과 로봇 개발 경로를 밝히는 리뷰

상세 분류

로봇의 기본 모델

이 섹션은 다음과 같이 다시 작성되었습니다. 이 섹션은 로봇 공학 분야의 제로 샷 상황에 시각 및 언어의 기본 모델을 적용하는 데 중점을 둡니다. 그 중에는 주로 VLM 제로 샘플을 로봇 인식 애플리케이션에 배포하고 LLM의 상황 학습 기능을 작업 수준 및 모션 수준 계획 및 동작 생성에 적용하는 것이 포함됩니다. 그림 6은 몇 가지 일반적인 연구 작업을 보여줍니다.

기본 모델과 로봇 개발 경로를 밝히는 리뷰

다시 작성된 내용은 다음과 같습니다. 로봇 기본 모델(RFM)

기본 모델과 로봇 개발 경로를 밝히는 리뷰

실제 로봇의 상태-동작 쌍을 포함하는 로봇 데이터 세트 성장함에 따라 RFM(Robotics Foundation Model) 범주도 성공할 가능성이 점점 더 높아진다는 것이 다시 작성되었습니다. 이러한 모델은 로봇 데이터를 사용하여 로봇 작업을 해결하도록 모델을 교육하는 기능을 갖추고 있습니다.

연구팀은 토론에서 다양한 유형의 RFM을 요약했습니다. 첫 번째는 단일 목표 로봇 기본 모델이라고도 알려진 단일 로봇 모듈에서 특정 작업을 수행할 수 있는 RFM입니다. 예를 들어, 로봇의 낮은 수준 동작을 제어하는 RFM을 생성하는 기능이나 더 높은 수준의 모션 계획을 생성할 수 있는 모델이 있습니다. 또한 이 기사에서는 여러 로봇 모듈에서 작업을 수행할 수 있는 RFM, 즉 인식, 제어 및 비로봇 작업까지 수행할 수 있는 범용 모델을 소개합니다.

로봇 공학 문제를 해결하는 데 기본 모델이 수행하는 역할은 무엇입니까?

이전 기사에서는 로봇 공학 분야가 직면한 5가지 주요 과제를 나열했습니다. 여기서는 기본 모델이 이러한 과제를 해결하는 데 어떻게 도움이 되는지 설명합니다.

시각정보와 관련된 모든 기본 모델(VFM, VLM, VGM 등)을 로봇의 인식 모듈에 사용할 수 있습니다. 반면에 LLM은 더욱 다양하며 계획 및 제어에 사용할 수 있습니다. 다시 작성된 내용은 다음과 같습니다. 로봇 기본 모델(RFM)은 일반적으로 계획 및 작업 생성 모듈에 사용됩니다. 표 1에는 다양한 로봇공학 문제를 해결하기 위한 기본 모델이 요약되어 있습니다.

기본 모델과 로봇 개발 경로를 밝히는 리뷰

표에서 볼 수 있듯이 모든 기본 모델은 다양한 로봇 모듈의 작업을 잘 일반화할 수 있습니다. 특히 LLM은 작업 사양에서 좋은 성능을 발휘합니다. 반면에 RFM은 대부분의 RFM이 모델이 없는 방법이기 때문에 동적 모델의 과제를 처리하는 데 능숙합니다. 로봇 인식 기능의 경우 일반화 기능과 모델 과제가 상호 연관되어 있습니다. 인식 모델이 이미 우수한 일반화 기능을 갖추고 있다면 도메인 적응이나 추가 미세 조정을 위해 더 많은 데이터를 얻을 필요가 없습니다

또한 중요한 미래가 될 보안 문제에 대한 연구가 부족합니다. 연구방향.

현재 실험 및 평가 개요

이 섹션에는 데이터 세트, 벤치마크 및 실험에 대한 현재 연구 결과가 요약되어 있습니다.

데이터 세트 및 벤치마크

언어 및 시각적 데이터 세트에서 배운 지식에만 의존하는 데에는 한계가 있습니다. 일부 연구 결과에서 알 수 있듯이 마찰 및 무게와 같은 일부 개념은 이러한 양식만으로는 쉽게 배울 수 없습니다.

따라서 로봇 에이전트가 세상을 더 잘 이해할 수 있도록 연구 커뮤니티는 언어 및 비전 영역의 기본 모델을 적용할 뿐만 아니라 이러한 영역을 훈련하고 미세 조정하기 위한 크고 다양한 다중 모드 로봇 개발을 발전시키고 있습니다. 모델.

현재 이러한 노력은 크게 두 가지 방향으로 나눌 수 있습니다. 하나는 현실 세계에서 데이터를 수집하는 것이고, 다른 하나는 시뮬레이션 세계에서 데이터를 수집하여 현실 세계로 마이그레이션하는 것입니다. 각 방향에는 장점과 단점이 있습니다. 실제 세계에서 수집된 데이터세트로는 RoboNet, Bridge Dataset V1, Bridge-V2, Language-Table, RT-1 등이 있습니다. 일반적으로 사용되는 시뮬레이터로는 Habitat, AI2THOR, Mujoco, AirSim, Arrival Autonomous Racing Simulator, Issac Gym 등이 있습니다.

현재 방법의 평가 분석(메타 분석)

팀의 또 다른 주요 기여는 A입니다. 이 리뷰 보고서에 언급된 논문의 실험에 대한 메타 분석은 다음 질문을 명확히 하는 데 도움이 될 수 있습니다.

1. 사람들은 어떤 작업을 해결하고 있나요?

2. 모델 학습에 어떤 데이터 세트나 시뮬레이터가 사용되었나요? 테스트에 사용되는 로봇 플랫폼은 무엇입니까?

3. 연구 커뮤니티에서는 어떤 기본 모델을 사용하나요? 과제를 해결하는 데 얼마나 효과적인가?

4. 이러한 방법 중 어떤 기본 모델이 더 일반적으로 사용됩니까?

표 2-7과 그림 11은 분석 결과를 보여준다.

기본 모델과 로봇 개발 경로를 밝히는 리뷰