로봇은 펜을 돌리고 호두를 접시에 담는 법을 배웠습니다! GPT-4 축복, 작업이 복잡할수록 성능이 향상됩니다.

프로듀스: 빅데이터 다이제스트

패밀리는 인공지능(AI)이 체스, 바둑, 도타를 제패한 뒤 펜 돌리기 기술도 AI 로봇에게 익혔습니다.

위에서 언급한 펜 회전 로봇은 NVIDIA, 펜실베니아 대학교, 캘리포니아 공과대학, 텍사스 대학교 오스틴 캠퍼스의 연구 조사인 유레카(Eureka)라는 에이전트의 이점을 활용합니다.

유레카의 '안내'를 통해 로봇은 서랍과 캐비닛을 열 수도 있고, 공을 던지고 잡을 수도 있고, 가위를 사용할 수도 있습니다. Nvidia에 따르면 Eureka는 10가지 유형으로 제공되며 29가지 작업을 수행할 수 있습니다.

이전에는 인간 전문가의 수동 프로그래밍으로는 펜 전송 기능을 그렇게 원활하게 구현할 수 없었다는 것을 아셔야 합니다.

호두를 요리하는 로봇

그리고 Eureka는 로봇을 훈련시키기 위한 보상 알고리즘을 독립적으로 작성할 수 있으며 코딩 능력도 강력합니다. 자체 작성한 보상 프로그램은 작업의 83%에서 인간 전문가를 능가합니다. 로봇의 성능이 평균 52% 향상되었습니다.

Eureka는 인간의 피드백을 바탕으로 그라데이션 없는 새로운 학습 방식을 개척했습니다. 인간이 제공하는 보상과 텍스트 피드백을 쉽게 흡수하여 자체 보상 생성 메커니즘을 더욱 향상할 수 있습니다.

특히 Eureka는 OpenAI의 GPT-4를 활용하여 로봇의 시행착오 학습을 위한 보상 프로그램을 작성합니다. 이는 시스템이 인간의 작업별 신호나 미리 설정된 보상 패턴에 의존하지 않는다는 것을 의미합니다.

Isaac Gym의 GPU 가속 시뮬레이션을 사용하여 Eureka는 수많은 후보자 보상의 장점을 신속하게 평가하여 보다 효율적인 훈련을 가능하게 합니다. 그런 다음 Eureka는 훈련 결과의 주요 통계 요약을 생성하고 LLM(언어 모델)을 안내하여 보상 함수 생성을 개선합니다. 이런 방식으로 AI 에이전트는 로봇에 대한 지시를 독립적으로 개선할 수 있다.

Eureka의 프레임워크

연구원들은 또한 작업이 복잡할수록 GPT-4의 지침이 소위 "보상 엔지니어"의 인간 지침보다 성능이 더 뛰어나다는 것을 발견했습니다. 연구에 참여한 연구자들은 유레카를 "초인적인 보상 엔지니어"라고 부르기도 했습니다.

Eureka는 높은 수준의 추론(인코딩)과 낮은 수준의 모터 제어 간의 격차를 성공적으로 메워줍니다. 이는 "하이브리드 그라디언트 아키텍처"를 사용합니다. 순수 추론 블랙박스 LLM(언어 모델, 언어 모델)이 학습 가능한 신경망을 안내합니다. 이 아키텍처에서 외부 루프는 GPT-4를 실행하여 보상 기능(경사 없음)을 최적화하는 반면, 내부 루프는 강화 학습을 실행하여 로봇 컨트롤러(경사 기반)를 훈련합니다.

- Linxi "Jim" 팬, NVIDIA 수석 연구 과학자

Eureka는 사람의 피드백을 통합하여 개발자의 기대에 더 가깝게 보상을 조정할 수 있습니다. Nvidia는 이 프로세스를 "in-context RLHF"(Contextual Learning from Human Feedback)라고 부릅니다.

Nvidia 연구팀이 Eureka의 AI 알고리즘 라이브러리를 오픈 소스로 공개했다는 점은 주목할 가치가 있습니다. 이를 통해 개인과 기관은 Nvidia Isaac Gym을 통해 이러한 알고리즘을 탐색하고 실험할 수 있습니다. Isaac Gym은 Open USD 프레임워크를 기반으로 3D 도구 및 애플리케이션을 만들기 위한 개발 프레임워크인 Nvidia Omniverse 플랫폼을 기반으로 구축되었습니다.

• 논문 링크: https://arxiv.org/pdf/2310.12931.pdf
• 프로젝트 링크: https://eureka-research.github.io/
• 코드 링크: https://github.com/eureka- 연구/Eureka

를 어떻게 평가하시나요?

강화 학습은 지난 10년 동안 큰 성공을 거두었지만 여전히 진행 중인 과제가 있다는 점을 인정해야 합니다. 이전에도 유사한 기술을 도입하려는 시도가 있었지만 언어 모델(LLM)을 사용하여 보상 설계를 지원하는 L2R(Learning to Reward)에 비해 Eureka는 작업별 프롬프트가 필요하지 않기 때문에 더 두드러집니다. Eureka가 L2R보다 나은 점은 자유롭게 표현된 보상 알고리즘을 생성하고 환경 소스 코드를 배경 정보로 활용할 수 있다는 것입니다.

NVIDIA 연구팀은 인간 보상 기능을 사용한 프라이밍이 몇 가지 이점을 제공하는지 알아보기 위해 설문조사를 실시했습니다. 실험의 목적은 원래의 인간 보상 함수를 초기 유레카 반복의 출력으로 성공적으로 대체할 수 있는지 확인하는 것입니다.

테스트에서 NVIDIA 연구팀은 각 작업의 맥락에서 동일한 강화 학습 알고리즘과 동일한 하이퍼 매개변수를 사용하여 모든 최종 보상 기능을 최적화했습니다. 이러한 작업별 하이퍼파라미터가 인위적으로 설계된 보상의 효과를 보장하기 위해 잘 조정되었는지 테스트하기 위해 수정 없이 이전 작업을 기반으로 잘 조정된 PPO(근위 정책 최적화) 구현을 사용했습니다. 각 보상에 대해 연구원들은 5번의 독립적인 PPO 교육 실행을 수행하고 정책 체크포인트에서 도달한 최대 작업 지표 값의 평균을 보상 성과의 척도로 보고했습니다.

결과에 따르면 인간 설계자는 관련 상태 변수를 잘 이해하는 경우가 많지만 효과적인 보상을 설계하는 데는 특정 숙련도가 부족할 수 있습니다.

Nvidia의 이 획기적인 연구는 강화 학습 및 보상 설계에 새로운 지평을 열었습니다. 보편적인 보상 설계 알고리즘인 Eureka는 대규모 언어 모델과 상황에 따른 진화 검색의 힘을 활용하여 작업별 프롬프트나 인간의 개입 없이도 광범위한 로봇 작업 영역에서 인간 수준의 보상을 생성하여 인간의 이해를 크게 변화시킵니다. AI와 머신러닝.

위 내용은 로봇은 펜을 돌리고 호두를 접시에 담는 법을 배웠습니다! GPT-4 축복, 작업이 복잡할수록 성능이 향상됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!