강화 학습 전문가 Sergey Levine의 새로운 작업: 세 개의 대형 모델이 로봇에게 자신의 길을 인식하도록 가르칩니다.

​대형 모델이 내장된 로봇은 지도를 보지 않고도 언어 지침을 따라 목적지에 도달하는 방법을 학습했습니다. 이 성과는 강화 학습 전문가 Sergey Levine의 새로운 작업에서 비롯되었습니다.

목적지가 주어졌을 때 내비게이션 트랙 없이 성공적으로 도착하는 것이 얼마나 어렵습니까?

이 작업은 방향 감각이 약한 인간에게도 매우 어려운 작업입니다. 그러나 최근 연구에서 몇몇 학자들은 사전 훈련된 세 가지 모델만을 사용하여 로봇을 "가르쳤습니다".

우리 모두는 로봇 학습의 핵심 과제 중 하나가 로봇이 높은 수준의 인간 지시에 따라 다양한 작업을 수행할 수 있도록 하는 것임을 알고 있습니다. 이를 위해서는 인간의 지시를 이해할 수 있고 현실 세계에서 이러한 지시를 수행하기 위한 다양한 행동을 갖춘 로봇이 필요합니다.

탐색에서 작업을 따르는 지침의 경우 이전 작업은 주로 텍스트 지침으로 주석이 달린 궤적을 학습하는 데 중점을 두었습니다. 이를 통해 텍스트 지침을 이해할 수 있지만 데이터 주석 비용으로 인해 이 기술의 광범위한 사용이 방해를 받았습니다. 반면, 최근 연구에서는 목표 조건 정책에 대한 자가 감독 학습을 통해 강력한 탐색을 학습할 수 있음을 보여주었습니다. 이러한 방법은 레이블이 지정되지 않은 대규모 데이터 세트를 기반으로 하며 비전 기반 컨트롤러를 교육하기 위해 사후 레이블을 다시 지정합니다. 이러한 방법은 확장 가능하고 일반적이며 강력하지만 번거로운 위치 또는 이미지 기반 대상 지정 메커니즘을 사용해야 하는 경우가 많습니다.

최신 논문에서 UC Berkeley, Google 및 기타 기관의 연구자들은 이 두 가지 방법의 장점을 결합하여 사전 학습 기능을 사용하여 사용자 주석 없이 내비게이션 데이터에 적용할 수 있는 로봇 내비게이션용 자가 감독 시스템을 만드는 것을 목표로 합니다. 자연어 명령을 실행하는 모델입니다. 연구원들은 이러한 모델을 사용하여 로봇에 작업을 전달하는 "인터페이스"를 구축합니다. 이 시스템은 사전 훈련된 언어 및 비전 언어 모델의 일반화 기능을 활용하여 로봇 시스템이 복잡한 고급 지침을 수용할 수 있도록 합니다.

​

• 논문 링크: https://arxiv.org/pdf/2207.04429.pdf
• 코드 링크: https://github.com/blazejosinski/lm_nav

연구원은 , 널리 사용 가능하고 특정 명령 추적을 가능하게 하는 제로 샷 일반화 기능을 보여준 대규모 시각적 및 언어 데이터 세트에 대해 훈련된 사전 훈련된 기성 모델을 활용하여 인터페이스를 생성할 수 있습니다. 이를 달성하기 위해 연구원들은 비전 및 언어 로봇에 구애받지 않는 사전 훈련된 모델과 사전 훈련된 탐색 모델의 장점을 결합했습니다. 구체적으로 그들은 시각적 탐색 모델(VNM:ViNG)을 사용하여 로봇의 시각적 출력을 환경의 위상학적 "멘탈 맵"으로 생성했습니다. 자유 형식 텍스트 명령이 주어지면 사전 훈련된 대규모 언어 모델(LLM: GPT-3)을 사용하여 명령을 일련의 텍스트 형식 특징점으로 디코딩합니다. 그런 다음 시각적 언어 모델(VLM: CLIP)을 사용하여 특징점과 노드의 결합 가능성을 추론하여 토폴로지 맵에서 이러한 텍스트 특징점을 설정합니다. 그런 다음 새로운 검색 알고리즘을 사용하여 확률적 목적 함수를 최대화하고 로봇의 명령 경로를 찾은 다음 VNM에서 실행합니다. 연구의 주요 기여는 특정 지시 추적 시스템인 대규모 모델(LM Nav)에서의 탐색 방법입니다. 이는 시각적 관찰 및 물리적 동작(VNM)을 활용하는 자체 감독 로봇 제어 모델, 텍스트 내에 이미지를 배치하지만 구체적인 구현 환경(VLM) 없이 이미지를 배치하는 시각적 언어 모델, 복잡한 실제 환경에서 장기적인 지침 추적을 가능하게 하기 위해 텍스트를 구문 분석하고 번역하지만 시각적 기반이나 구체화된 감각(LLM)이 없는 언어 모델입니다. 연구원들은 처음으로 사전 훈련된 비전 및 언어 모델을 목표 조건 컨트롤러와 결합하여 미세 조정 없이 목표 환경에서 실행 가능한 명령 경로를 도출하는 아이디어를 구체화했습니다. 특히, 세 가지 모델 모두 대규모 데이터 세트에 대해 훈련되고, 자체 감독 목적 함수가 있으며, 미세 조정 없이 즉시 사용됩니다. LM Nav 훈련에는 로봇 내비게이션 데이터에 대한 사람의 주석이 필요하지 않습니다.

​실험에 따르면 LM Nav는 100미터의 복잡한 교외 탐색 중에 세밀한 명령을 사용하여 경로 모호성을 제거하면서 새로운 환경에서 자연어 지침을 성공적으로 따를 수 있는 것으로 나타났습니다.

​LM-Nav 모델 개요

그렇다면 연구자들은 사전 훈련된 이미지와 언어 모델을 어떻게 사용하여 시각적 내비게이션 모델을 위한 텍스트 인터페이스를 제공할까요?

​1. 대상 환경의 일련의 관찰이 주어지면 시각 탐색 모델(VNM)의 일부인 대상 조건부 거리 함수를 사용하여 이들 간의 연결성을 추론하고 환경 토폴로지를 구성합니다. 연결 다이어그램.

​2. LLM(대형 언어 모델)은 자연어 지침을 일련의 특징점으로 구문 분석하는 데 사용됩니다. 이러한 특징점은 탐색을 위한 중간 하위 목표로 사용될 수 있습니다.

​3. VLM(시각 언어 모델)은 특징점 문구를 기반으로 시각적 관찰을 구축하는 데 사용됩니다. 시각 언어 모델은 특징점 설명과 이미지(위 그래프에서 노드 형성)에 대한 공동 확률 분포를 추론합니다.

4. VLM의 확률 분포와 VNM에서 추론한 그래프 연결성을 사용하여 환경에서 최적의 명령 경로를 검색하는 새로운 검색 알고리즘을 채택합니다. 이 명령 경로는 (i) 원본을 만족합니다. (ii)는 그래프에서 목표를 달성할 수 있는 최단 경로입니다.

​

5. 그런 다음 명령 경로는 VNM의 일부인 대상 조건부 정책에 의해 실행됩니다. ​

실험 결과

정성적 평가​

그림 4는 로봇이 이동한 경로의 몇 가지 예를 보여줍니다. (로봇은 머리 위의 이미지와 특징점의 공간적 위치를 얻을 수 없습니다. 표시되는 것은 시각적 효과일 뿐입니다.)

그림 4(a)에서 LM-Nav는 이전 순회에서 간단한 특징점을 성공적으로 찾고 목표까지의 짧은 경로를 찾을 수 있습니다. 환경에는 여러 개의 주차 특징점이 있지만 방정식 3의 목적 함수를 통해 로봇은 상황에 맞는 올바른 주차 특징점을 선택할 수 있으므로 전체 이동 거리가 최소화됩니다.

그림 4(b)는 여러 특징점으로 지정된 경로를 구문 분석하는 LM-Nav의 기능을 강조합니다. 명령 경로를 무시할 때 마지막 특징점에 직접 도달하는 것이 가장 짧은 경로이더라도 로봇은 여전히 ​​A 경로를 찾을 수 있습니다. 모든 특징점을 올바른 순서로 방문합니다.

지시문을 사용하여 명확하게 하세요. LM Nav의 목표는 단순히 최종 목표에 도달하는 것이 아니라 지침을 따르는 것이므로 지침이 다르면 탐색이 달라질 수 있습니다. 그림 5는 지침을 수정하여 목표에 대한 여러 경로를 명확하게 할 수 있는 예를 보여줍니다. 짧은 프롬프트(파란색)의 경우 LM Nav는 더 직접적인 경로를 선호합니다. 보다 세분화된 경로(마젠타색)를 지정하면 LM Nav는 다양한 특징점 세트를 통해 대체 경로를 선택합니다.

​특징점 누락 상황. LM-Nav는 명령어의 특징점을 효과적으로 분석하고, 그래프에서 특징점을 찾고, 목표에 대한 경로를 찾을 수 있지만, 이 프로세스는 특징점이 (i) 실제 환경에 존재하고 (ii) 될 수 있다는 가정에 의존합니다. VLM에서 인정합니다. 그림 4(c)는 실행 경로가 특징 지점 중 하나인 소화전을 방문하지 못하고 건물 바닥 대신 건물 상단 주위의 경로를 선택하는 상황을 보여줍니다. 이 실패 사례는 VLM이 로봇의 관찰을 통해 소화전을 감지할 수 없었기 때문에 발생했습니다.

특징점 검색 시 VLM의 효율성을 독립적으로 평가한 결과, 연구원들은 VLM이 이러한 유형의 작업에 가장 적합한 기성 모델임에도 불구하고 CLIP이 소수의 "하드" 특징점을 검색할 수 없다는 사실을 발견했습니다. , 소화전 및 시멘트 혼합기를 포함합니다. 그러나 많은 실제 상황에서 로봇은 여전히 ​​나머지 특징점을 방문하는 경로를 성공적으로 찾을 수 있습니다.

정량적 평가​

표 1은 이 시스템의 정량적 성능을 20가지 지침으로 요약한 것입니다. 실험의 85%에서 LM-Nav는 충돌이나 분리(이동 거리 6.4km마다 평균 1회 개입) 없이 지침을 일관되게 따를 수 있었습니다. 내비게이션 모델이 없는 기준선에 비해 LM-Nav는 효율적이고 충돌 없는 대상 경로를 실행하는 데 있어 지속적으로 더 나은 성능을 발휘합니다. 실패한 모든 실험에서 실패는 계획 단계의 기능 부족(검색 알고리즘이 그래프에서 특정 "하드" 특징점을 직관적으로 찾을 수 없음)으로 인해 지침이 불완전하게 실행되었기 때문일 수 있습니다. 이러한 실패 모드를 조사한 결과 시스템의 가장 중요한 부분은 소화전과 같은 익숙하지 않은 특징 지점과 노출 부족 이미지와 같은 까다로운 조명 조건 하의 장면을 감지하는 VLM의 능력이라는 것이 밝혀졌습니다.

​

위 내용은 강화 학습 전문가 Sergey Levine의 새로운 작업: 세 개의 대형 모델이 로봇에게 자신의 길을 인식하도록 가르칩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!