LeCun은 AGI를 예측합니다. 대형 모델과 강화 학습이 모두 만연합니다! 나의 '세계 모델'은 새로운 방식입니다

AI 업계에서 가장 유명한 현대 거인 중 한 명이자 Meta AI 연구소의 영혼인 Yann LeCun은 오랫동안 기계에게 세계 운영 개념에 대한 기본적인 이해를 제공하는 데 전념해 왔습니다. 감각. 과거 LeCun이 한 일은 비디오 발췌를 사용하여 신경망을 훈련시키고 AI가 일일 활동 비디오의 다음 프레임에 나타날 내용을 픽셀 단위로 예측하도록 하는 것이었습니다. 당연히 그는 이러한 접근 방식이 장벽에 부딪혔다는 점을 인정했습니다. 몇 달에서 1년 반 동안 고민한 끝에 르쿤은 차세대 AI에 대한 새로운 아이디어를 떠올렸습니다.

AI를 위한 새로운 길

LeCun은 MIT Technology Review와의 인터뷰에서 이것이 기계에게 세계를 탐험하기 위한 상식적 기반을 제공할 것이라고 말하면서 자신의 새로운 연구 경로를 설명했습니다. 르쿤에게 이는 AGI(Artificial General Intelligence) 구축의 첫 번째 단계이다. 인간처럼 생각할 수 있는 기계는 AI 산업이 탄생할 때부터 지침이 되어온 비전이자, 가장 논란이 많은 개념 중 하나이기도 하다.

그러나 르쿤의 새로운 길은 아직 불완전할 수도 있고, 답보다 더 많은 질문을 불러일으킬 수도 있습니다. 가장 큰 질문은 LeCun 자신이 자신이 설명하는 종류의 AI를 구축하는 방법을 아직 모른다는 점입니다. 이 접근 방식의 핵심에는 이전과는 다른 방식으로 현실 세계를 보고 학습할 수 있는 신경망이 있습니다. LeCun은 마침내 AI가 비디오의 다음 프레임을 픽셀 단위로 추측하는 것을 포기하고 새로운 신경망이 작업을 완료하는 데 필요한 핵심 지식만 학습하도록 했습니다.

그런 다음 LeCun은 이 신경망을 "구성자"라고 하는 다른 신경망과 결합할 계획입니다. "구성자"는 기본 신경망이 학습해야 하는 세부 사항을 결정하고 그에 따라 기본 시스템을 자동으로 조정하는 역할을 담당합니다. LeCun에게 AGI는 인간과 미래 기술의 상호 작용에 필수적인 부분입니다. 물론 이러한 전망은 메타버스 개발에 전 재산을 투자한 그의 고용주인 Meta Company와 일치합니다.

르쿤은 10~15년 안에 AR 안경이 현재의 스마트폰을 대체할 것이라고 말했습니다. AR 안경에는 인간의 일상 활동을 지원할 수 있는 가상 지능형 비서가 있어야 합니다. 이러한 보조자가 가장 효과적이려면 인간 두뇌의 지능을 어느 정도 따라잡아야 합니다.

"세계 모델"은 AGI

LeCun의 최근 "세계 모델"에 대한 열정의 핵심입니다. 그에 따르면 이는 대부분의 동물 두뇌의 기본 작동 모드입니다. 즉, 실제 세계에 대한 시뮬레이션을 실행하는 것입니다. 유아기부터 동물은 지능을 개발하기 위해 예측 시행착오 방법을 사용합니다. 어린 아이들은 생후 첫 몇 달 동안 실제 세계의 움직임과 좌절을 관찰함으로써 지능의 기초를 발달시킵니다.

기초 물리학 수업을 들어본 적도, 뉴턴의 3법칙을 배운 적도 없는 평범한 아기들은 작은 공이 수백 번 떨어지는 것을 관찰함으로써 중력의 존재와 작용에 대한 기본적인 이해를 갖게 됩니다. 그러므로 이런 종류의 직관적/암묵적 추론을 보통 사람들은 '상식'이라고 부릅니다. 인간은 현실 세계에서 가능한 대부분의 미래와 불가능한 환상을 이해하고, 자신의 행동의 결과를 예측하고 그에 따라 결정을 내리기 위해 상식을 사용합니다. 이러한 인간 지능에는 픽셀 단위의 정확한 세부 정보나 포괄적인 물리 매개변수 라이브러리가 필요하지 않습니다. 비전이 없거나 문맹이더라도 지능을 정상적으로 사용할 수 있습니다.

하지만 기계가 상식을 배우도록 가르치는 것은 어렵습니다. 오늘날의 신경망은 기본 패턴을 막연하게 발견하기 전에 수천 개의 예를 보여줘야 합니다. 르쿤은 지능의 기본은 가까운 미래를 예측하는 상식적인 능력이라고 말했다. 그러나 AI가 픽셀 단위로 예측하는 것을 포기한 르쿤은 마음을 바꾸고 싶다고 말했습니다. LeCun은 다음과 같이 비유했습니다. 펜을 공중에 들고 놓았다고 상상해 보세요. 상식적으로 볼 때 펜은 확실히 떨어질 것이지만, 떨어지는 정확한 위치는 인간의 지능 예측 범위 내에 있지 않습니다. 과거 AI 개발 모델에 따르면 AI는 펜이 떨어질지 여부를 예측하는 동시에 정확한 낙하 위치를 찾기 위해 복잡한 물리 모델을 실행해야 했습니다.

이제 르쿤은 AI가 펜이 떨어질 것이라는 상식적인 결론만 예측하게 하고, 정확한 위치는 해결 범위에 속하지 않도록 열심히 노력하고 있습니다. 르쿤은 이것이 '월드 모델'의 기본 패턴이라고 말했다.

르쿤은 기본 객체 인식을 완성할 수 있는 '세계 모델'의 초기 버전을 만들었고, 현재 위에서 언급한 상식 예측을 학습하기 위해 훈련에 힘쓰고 있다고 말했습니다.

그러나 르쿤은 아직 "컨피규레이터"의 기능을 이해하지 못했다고 말했습니다. LeCun이 상상하는 "구성자" AI는 전체 AGI 시스템의 제어 구성 요소입니다. 언제든지 세계 모델이 수행해야 하는 상식적인 예측이 무엇인지 결정하고 이를 위해 세계 모델이 처리해야 하는 데이터의 세부 사항을 조정합니다. 이제 LeCun은 "구성자"가 필수적이라고 굳게 믿고 있지만, 이 효과를 달성하기 위해 신경망을 훈련하는 방법을 모릅니다.

"우리는 실현 가능한 기술 목록을 탐색해야 하는데 이 목록은 아직 존재하지 않습니다." LeCun의 비전에서 "구성자"와 "세계 모델"은 미래 AGI 기본 인지 아키텍처의 두 핵심입니다. 이를 통해 세상을 인식하는 인지 모델, AI가 행동을 조정하도록 유도하는 인센티브 모델 등을 개발할 수 있습니다. LeCun은 이러한 방식으로 신경망이 인간 두뇌의 모든 부분을 성공적으로 시뮬레이션할 수 있다고 말했습니다. 예를 들어 '컨피규레이터'와 '월드 모델'은 전두엽 역할을 하고, 동기 모델은 AI의 편도체 등이다.

다양한 세부 수준의 인지 아키텍처와 예측 모델은 모두 수년 동안 업계에서 확립된 견해입니다. 하지만 딥러닝이 AI 산업의 주류가 되면서 이러한 낡은 아이디어 중 상당수가 시대에 뒤떨어지게 됩니다. 이제 LeCun은 전통적인 지혜로 돌아가고 있습니다: "AI 연구 커뮤니티는 이러한 것들을 많이 잊어버렸습니다."

대형 모델과 강화 학습은 모두 막다른 골목입니다

우리가 예전의 길로 돌아가는 이유는 LeCun은 현재 업계의 주류 경로가 막다른 골목에 이르렀다고 굳게 믿고 있기 때문입니다. AGI 구축 방법에 관해 현재 AI 업계에는 두 가지 주류 견해가 있다.

첫째, 많은 연구자들은 스스로 실수하는 길을 굳게 믿습니다. OpenAI의 GPT 시리즈 및 DALL-E 시리즈처럼 모델이 클수록 임계점을 초과하면 AI가 인간 지능을 일깨워줍니다. .

두 번째는 강화 학습입니다. 지속적인 시행착오를 거치고, 시행착오 결과에 따라 AI에게 보상과 처벌을 가하는 것입니다. 다양한 체스와 카드 AI, 게임 AI를 만드는 DeepMind의 방식입니다. 이 경로를 믿는 사람들은 보상 인센티브가 올바르게 설정되는 한 강화 학습이 결국 실제 AGI를 생성할 것이라고 믿습니다.

Lecun은 여기서 두 가지 유형의 사람들이 쓰레기라고 말했습니다: "기존 대형 언어 모델의 크기를 무한히 확장하고, 마침내 인간 수준의 AI를 만드는가? 나는 이 말도 안되는 주장을 한 순간도 믿지 않습니다. . "강화학습은 가장 간단한 작업을 수행하기 위해 모델을 훈련시키기 위해 엄청난 양의 데이터가 필요합니다. 이 방법은 가능성이 없다고 생각합니다."

업계 관계자들은 르쿤의 견해에 지지와 반대가 공존하고 있습니다. 르쿤의 비전이 실현된다면 AI는 인터넷 못지않은 차세대 고성능 기초기술이 될 것이다. 그러나 그의 발표에는 자신이 만든 모델의 성능, 인센티브 메커니즘, 제어 메커니즘 등이 포함되지 않았습니다. 그러나 이러한 단점은 사소한 문제입니다. 칭찬이나 비판에 관계없이 업계 내부자들은 이러한 단점을 직면하는 데 오랜 시간이 걸릴 것이라는 데 동의하기 때문입니다. 왜냐하면 르쿤도 지금은 AGI를 만들 수 없기 때문입니다.

Lecun 자신도 이러한 상황을 인정했으며, 그는 단지 새로운 이론적 경로를 위한 씨앗을 뿌리고 이를 바탕으로 후발주자들이 결과를 만들 수 있기를 바랐다고 말했습니다. "이 목표를 달성하려면 너무 많은 사람과 노력이 필요합니다. 이 길이 최종적인 올바른 길이라고 생각하기 때문에 르쿤은 동료들에게 단지 집중하지 말라고 설득하고 싶습니다." 대규모 모델과 강화 학습을 사용하면 마음을 여는 것이 가장 좋습니다. "사람들이 시간을 낭비하는 모습이 보기 싫습니다."

업계 반응: 긍정적이면서도 부정적인 반응

또 다른 AI 업계 리더이자 르쿤의 좋은 친구인 요슈아 벤지오(Yoshua Bengio)는 오랜 친구가 자신의 꿈을 실현하는 모습을 보게 되어 기쁘다고 말했습니다. "얀이 이 문제에 대해 오랫동안 얘기해왔는데, 그가 자신의 발언을 한자리에 종합적으로 요약하는 모습을 보니 매우 기쁩니다. 하지만 이는 결과 보고라기보다는 연구 방향을 적용하기 위한 것일 뿐입니다. 우리는 보통 개인적으로만 논의합니다. . 아래에 이를 공유하면 공개적으로 이야기할 위험이 상당히 높습니다. "

DeepMind에서 AI AlphaZero 게임 개발을 이끌고 있는 David Silver는 자신의 프로젝트에 대한 LeCun의 비판에 동의하지 않지만 그를 환영합니다. 그의 비전을 실현하기 위해.

"LeCun이 설명한 세계 모델은 정말 흥미롭고 새로운 아이디어입니다." 캘리포니아 Santa Fe Institute의 Melanie Mitchell도 LeCun의 의견에 동의했습니다. "업계에서는 딥 러닝 커뮤니티에서 이런 관점을 자주 볼 수 없습니다. 대부분의 사람들의 언어 모델에는 실제로 메모리가 부족하고 역할을 수행할 수 있는 내부 세계 모델의 백본이 없습니다."

Google Brain의 Natasha Jaques는 이에 동의하지 않습니다. "모든 사람은 대규모 언어 모델이 매우 효율적이며 또한 인간의 지식을 많이 접목시켜라.. 르쿤이 제안한 세계 모델을 어떻게 업그레이드할 수 있을까?

위 내용은 LeCun은 AGI를 예측합니다. 대형 모델과 강화 학습이 모두 만연합니다! 나의 '세계 모델'은 새로운 방식입니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!