Google DeepMind 로봇이 세 가지 결과를 연속으로 공개했습니다! 두 가지 기능 모두 완전히 향상되었으며 데이터 수집 시스템은 동시에 20대의 로봇을 관리할 수 있습니다.

스탠퍼드의 '새우튀김 및 설거지' 로봇과 거의 동시에 Google DeepMind도 최신 구체화된 지능 결과를 발표했습니다.

3연속 촬영입니다.

첫째, 의사결정 속도 향상에 초점을 맞춘 새로운 모델로 로봇의 작동 속도(원래 Robotics Transformer 대비) 14% 향상 - 빠르면서도 품질은 저하되지 않았으며 정확도는 10.6% 증가했습니다.

그런 다음 로봇의 모션 궤적 프롬프트를 생성하여 이전에는 볼 수 없었던 41가지 작업에 직면하고 63%의 성공률을 달성할 수 있는 일반화 기능을 전문으로 하는 새로운 프레임워크 가 있습니다.

이 배열을 과소평가하지 마세요. 이전 29%에 비해 개선폭이 상당히 큽니다.

마지막은 로봇 데이터 수집 시스템으로, 한 번에 20개의 로봇을 관리할 수 있습니다. 지금까지 수집된 실험 데이터는 Google이 후속 교육 작업을 더 잘 완료하는 데 도움이 됩니다.

그렇다면 이 세 가지 결과는 구체적으로 무엇인가요? 하나씩 살펴보겠습니다.

로봇 일상 응용의 첫 번째 단계: 이전에 본 적 없는 작업을 직접 수행할 수 있습니다.

Google은 실제로 현실 세계에 들어갈 수 있는 로봇을 구현하려면 두 가지 기본적인 과제를 해결해야 한다고 지적했습니다.

1. 새로운 작업 추진 능력

2. 의사결정 속도 향상

이 3부작 시리즈의 처음 두 가지 결과는 주로 이 두 가지 영역의 개선이며, 둘 다 Google의 기본 로봇 모델인 Robotics Transformer를 기반으로 합니다. RT)로 약칭합니다.

먼저 첫 번째를 살펴보겠습니다.

RT-Trajectory는 로봇을 일반화하는 데 도움이 됩니다.

사람에게는 테이블 청소 같은 일이 이해하기 쉽지만, 로봇은 잘 이해하지 못합니다.

다행히도 다양한 방법으로 이 명령을 전달할 수 있어 실제 물리적 행동을 취할 수 있습니다.

일반적으로 전통적인 방법은 작업을 특정 동작으로 매핑한 다음 로봇 팔이 완료하도록 하는 것입니다. 예를 들어 테이블을 닦는 것은 "클램프 닫기, 왼쪽으로 이동, 오른쪽으로 이동"으로 나눌 수 있습니다. "

분명히 이 방법의 일반화 능력은 매우 낮습니다.

여기서 Google이 새로 제안한 RT-Trajectory는 로봇에게 시각적 신호를 제공하여 작업을 완료하도록 가르칩니다.

특히 RT-Trajectory로 제어되는 로봇은 훈련 중에 2D 궤적 강화 데이터를 추가합니다.

이러한 궤적은 경로 및 주요 지점을 포함하여 RGB 이미지로 표시되어 로봇이 작업 수행 방법을 학습할 때 낮은 수준이지만 매우 유용한 힌트를 제공합니다.

이 모델을 사용하면 이전에 볼 수 없었던 작업을 수행하는 로봇의 성공률이 최대 1배나 직접적으로 향상되었습니다

(Google의 기본 로봇 모델인 RT-2 대비, 29% => 63%) .

더 언급할 가치가 있는 점은 RT-Trajectory가

사람의 시연을 관찰하고, 손으로 그린 ​​스케치를 받아들이고, VLM
(Visual Language Model)을 통해 생성하는 등 다양한 방식으로 궤적을 생성할 수 있다는 것입니다.

일상 로봇화의 두 번째 단계: 의사결정 속도가 빨라야 합니다

일반화 능력이 향상되면 의사결정 속도에 집중하겠습니다.

Google의 RT 모델은 Transformer 아키텍처를 사용합니다. Transformer는 강력하지만 2차 복잡성을 지닌 Attention 모듈에 크게 의존합니다.

따라서 RT 모델에 대한 입력이 두 배가 되면

(예: 로봇에 고해상도 센서 장착) 이를 처리하는 데 필요한 계산 리소스가 4배로 늘어나 결정 속도가 심각하게 느려집니다. - 만드는 속도.

로봇의 속도를 향상시키기 위해 Google은 기본 모델인 Robotics Transformer에

SARA-RT를 개발했습니다.

SARA-RT는 새로운 모델 미세 조정 방법을 사용하여 원래 RT 모델을 더욱 효율적으로 만듭니다.

이 방법을 Google에서는 '업 트레이닝'이라고 합니다. 주요 기능은 처리 품질을 유지하면서 원래 2차 복잡도를 선형 복잡도로 변환하는 것입니다.

수십억 개의 매개변수가 있는 RT-2 모델에 SARA-RT를 적용하면 후자는 다양한 작업에서 더 빠른 작업 속도와 더 높은 정확도를 달성할 수 있습니다.

SARA-RT가 값비싼 사전 훈련 없이 Transformer를 가속할 수 있는 universal 방법을 제공하므로 잘 홍보할 수 있다는 점도 언급할 가치가 있습니다.

데이터가 충분하지 않나요? 직접 만들어 보세요

마지막으로 인간이 할당한 작업을 로봇이 더 잘 이해할 수 있도록 Google도 데이터에서 시작하여 직접 수집 시스템인 AutoRT를 구축했습니다.

이 시스템은 대형 모델(LLM 및 VLM 포함) 을 로봇 제어 모델(RT) 과 결합하여 로봇이 현실 세계에서 다양한 작업을 수행하도록 지속적으로 지시함으로써 데이터를 생성하고 수집합니다.

구체적인 과정은 다음과 같습니다.

로봇이 환경에 "자유롭게" 접촉하고 대상에 가까워지도록 합니다.

그런 다음 카메라와 VLM 모델을 사용하여 특정 항목을 포함하여 앞에 있는 장면을 설명하세요.

그런 다음 LLM은 이 정보를 사용하여 여러 가지 다른 작업을 생성합니다.

생성된 후 로봇이 즉시 실행되지는 않습니다. 대신 LLM을 사용하여 독립적으로 완료할 수 있는 작업, 사람의 원격 제어가 필요한 작업, 완료할 수 없는 작업을 필터합니다. 모두.

"감자칩 봉지를 여는 것"은 두 개의 로봇 팔(기본적으로 1개만)이 필요하기 때문에 할 수 없는 일입니다.

그러면 이 심사 작업을 완료한 후 로봇이 실제로 이를 수행할 수 있습니다.

마지막으로 AutoRT 시스템은 데이터 수집을 완료하고 다양성 평가를 수행합니다.

보고서에 따르면 AutoRT는 한 번에 최대 20개의 로봇을 조정할 수 있으며 7개월 동안 6,650개의 고유 작업을 포함하여 총 77,000개의 테스트 데이터가 수집되었습니다.

마지막으로 이 시스템에 대해 Google은 보안도 강조합니다.

결국 AutoRT의 수집 작업은 현실 세계에 적용되며 '안전 가드레일'은 필수입니다.

특히 로봇의 작업을 검사하는 LLM에서 제공하는 기본 안전 코드는 부분적으로 아이작 아시모프(Isaac Asimov)의 로봇공학 3원칙에서 영감을 받았습니다. 무엇보다도 "로봇은 인간에게 해를 끼치면 안 됩니다."

두 번째 요구 사항은 다음과 같습니다. 로봇은 사람, 동물, 날카로운 물체 또는 전기 제품과 관련된 작업을 시도해서는 안 됩니다

그러나 이것만으로는 충분하지 않습니다

그래서 AutoRT는 일반 로봇 공학에서 여러 층의 실용적인 안전 조치도 갖추고 있습니다. 관절에 가해지는 힘이 주어진 임계값을 초과하고, 인간의 시야 내에 있는 물리적 스위치로 모든 작업을 중지할 수 있습니다.

Google의 최신 결과에 대해 더 알고 싶으십니까?

좋은 소식이 있나요? 논문만 게재하는 RT-Trajectory의 경우 나머지는 코드 및 논문과 함께 게재됩니다. 모두들 확인해보세요~

One More Thing

구글 로봇 하면

RT-2

(이 기사의 모든 결과도 기반으로 함) . 이 모델은 54명의 Google 연구원이 7개월에 걸쳐 구축하여 올해 7월 말에 출시되었습니다.

비주얼-텍스트 다중 모드 모델 VLM이 내장되어 있습니다. . , "인간의 말"을 이해할 수 있을 뿐만 아니라 "인간의 말"에 대해 추론하고 세 가지 플라스틱 장난감인 사자, 고래,

오늘은 불과 5개월 만에 일반화 능력과 의사결정 속도가 급격히 향상되었습니다. 한숨을 쉬지 않을 수 없습니다. 로봇이 그런 모습을 보일 것이라고는 상상할 수 없습니다. 과연 수천 가구에 얼마나 빠른 속도로 세상으로 돌진할 것인가?

위 내용은 Google DeepMind 로봇이 세 가지 결과를 연속으로 공개했습니다! 두 가지 기능 모두 완전히 향상되었으며 데이터 수집 시스템은 동시에 20대의 로봇을 관리할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!