GPT-4의 연구 경로는 절망적입니까? Yann LeCun은 Zi Hui에게 사형을 선고했습니다.

Yann LeCun 이런 관점은 사실 좀 대담한데요.

"지금부터 5년 후에는 정신이 올바른 사람 중 누구도 자기회귀 모델을 사용하지 않을 것입니다." 최근 Turing Award 수상자 Yann LeCun이 특별한 토론을 시작했습니다. 그가 말하는 자동회귀는 바로 현재 인기 있는 GPT 계열 모델이 의존하는 학습 패러다임입니다.

물론 얀 르쿤이 지적한 것은 자기회귀 모델만이 아닙니다. 그의 견해로는 머신러닝 전체 분야가 현재 엄청난 도전에 직면해 있습니다.

이 토론의 주제는 "대규모 언어 모델에 의미와 이해를 위한 감각적 기반이 필요한가?"이며 최근 개최된 "The Philosophy of Deep Learning" 컨퍼런스의 일부입니다. 이번 컨퍼런스에서는 철학적 관점에서 인공지능 연구의 현안, 특히 심층 인공 신경망 분야의 최근 연구를 탐구했습니다. 그 목적은 이러한 시스템에 대해 생각하는 철학자와 과학자를 모아 이러한 모델의 기능, 한계 및 인간 인지에 대한 관계를 더 잘 이해하는 것입니다.

토론회 PPT에 따르면 Yann LeCun은 평소의 날카로운 스타일을 이어가며 "머신 러닝이 형편없어요!" "자동 회귀 생성 모델이 형편없어요!"라고 직설적으로 지적했습니다. 마지막 주제는 자연스럽게 "월드 모델"로 돌아왔습니다. 이번 글에서는 PPT를 기반으로 Yann LeCun의 핵심 아이디어를 정리했습니다.

후속 영상 정보는 컨퍼런스 공식 홈페이지를 주목해주세요: https://phildeeplearning.github.io/

Yann LeCun의 핵심 관점

Machine Learning 형편없어요!

"Machine Learning sucks!(머신러닝 짜증나)" Yann LeCun은 PPT 시작 부분에 이 부제를 넣었습니다. 그러나 그는 인간이나 동물과 비교하면 다음과 같이 덧붙였습니다.

머신러닝의 문제점은 무엇인가요? LeCun은 몇 가지 예를 나열했습니다.

• 지도 학습(SL)에는 많은 수의 라벨이 지정된 샘플이 필요합니다.
• 강화 학습(RL)에는 많은 수의 실험이 필요합니다.
• 자기 지도 학습(SSL)에는 라벨이 지정되지 않은 샘플이 많이 필요합니다. 견본.

게다가 현재 머신러닝을 기반으로 하는 대부분의 AI 시스템은 매우 어리석은 실수를 저지르며 추론하거나 계획할 수 없습니다.

이에 비해 인간과 동물은 다음을 포함하여 훨씬 더 많은 일을 할 수 있습니다.

• 세계가 어떻게 작동하는지 이해합니다.
• 자신의 행동의 결과를 예측할 수 있습니다.
• 무한한 다단계 추론을 수행할 수 있습니다.
복잡한 작업을 일련의 하위 작업으로 분해하여 계획을 세울 수 있습니다.

더 중요한 것은 인간과 동물이 상식을 갖고 있으며, 현재 기계가 보유한 상식은 상대적으로 피상적이라는 것입니다.

자동 회귀 대형 언어 모델에는 미래가 없습니다

위에 나열된 세 가지 학습 패러다임 중에서 Yann LeCun은 자기 지도 학습에 중점을 두었습니다.

가장 먼저 볼 수 있는 것은 자기 지도 학습이 현재의 주류 학습 패러다임이 되었다는 것입니다. LeCun의 말에 따르면 “자기 지도 학습이 전 세계를 장악했습니다.” 최근 몇 년 동안 대중화되고 있는 텍스트 및 이미지 이해 및 생성을 위한 대부분의 대형 모델은 이 학습 패러다임을 사용합니다.

자기 지도 학습에서는 GPT 계열로 대표되는 자동 회귀 대형 언어 모델(AR-LLM)이 점점 인기를 얻고 있습니다. 이러한 모델의 원리는 위 또는 아래를 기반으로 다음 토큰을 예측하는 것입니다(여기서 토큰은 단어, 이미지 블록 또는 음성 클립일 수 있음). 우리에게 익숙한 LLaMA(FAIR), ChatGPT(OpenAI) 등의 모델은 모두 자동회귀 모델입니다.

그러나 LeCun의 관점에서 이러한 유형의 모델에는 미래가 없습니다(자동 회귀 LLM은 종말을 고함). 성능이 뛰어나지만 사실적 오류, 논리적 오류, 불일치, 제한된 추론, 유해한 콘텐츠가 쉽게 생성되는 등 해결하기 어려운 문제가 많기 때문입니다. 중요한 것은 그러한 모델이 세계의 근본적인 현실을 이해하지 못한다는 것입니다.

기술적인 관점에서 e가 임의로 생성된 토큰이 정답 집합에서 멀어지게 할 확률이라고 가정하면 길이 n의 답이 결국 정답이 될 확률은 P(정답)입니다. = (1-e )^n. 이 알고리즘에 따르면 오류가 누적되고 정확도가 기하급수적으로 감소합니다. 물론 e를 더 작게 만들어 이 문제를 (훈련을 통해) 완화할 수 있지만 완전히 제거할 수는 없다고 Yann LeCun은 설명합니다. 그는 이 문제를 해결하려면 모델의 부드러움을 유지하면서 LLM이 더 이상 자동 회귀를 수행하지 않도록 해야 한다고 믿습니다.

LeCun은 유망한 방향이 있다고 믿습니다: 월드 모델

현재 인기 있는 GPT형 모델에는 미래가 없습니다. 그러면 미래는 어떻게 될까요? LeCun에 따르면 대답은 바로 세계 모델입니다.

수년에 걸쳐 LeCun은 현재의 대규모 언어 모델이 사람이나 동물에 비해 학습에 있어 매우 비효율적이라는 점을 강조해 왔습니다. 자동차를 운전해 본 적이 없는 청소년은 20시간 안에 운전을 배울 수 있지만 최고의 자기- 운전 시스템에는 수백만 또는 수십억 개의 레이블이 지정된 데이터가 필요하거나 가상 환경에서 수백만 개의 강화 학습 실험이 필요합니다. 이러한 모든 노력에도 불구하고 인간과 동일한 안정적인 운전 능력을 달성할 수는 없습니다.

현재 기계 학습 연구자들이 직면한 세 가지 주요 과제가 있습니다. 하나는 세계의 표현 및 예측 모델을 배우는 것이고, 다른 하나는 추론을 배우는 것입니다(LeCun이 언급한 시스템 2에 대한 관련 논의는 다음을 참조하세요). UCL 왕준 교수의 보고서) 세 번째는 복잡한 액션 시퀀스를 계획하는 방법을 배우는 것입니다.

이러한 문제를 바탕으로 LeCun은 "세계" 모델을 구축한다는 아이디어를 제안하고 "자율 기계 지능을 향한 길"이라는 제목의 논문에서 이를 자세히 설명했습니다.

구체적으로 그는 추론하고 계획할 수 있는 인지적 아키텍처를 구축하고 싶었습니다. 이 아키텍처는

• 구성자 모듈,
• 세계 모델,
• 액터 모듈,
• 단기 메모리 모듈로 구성됩니다.

이 모듈에 대한 자세한 내용은 Machine Heart의 이전 기사 "Turing Award 수상자 Yann LeCun: 향후 수십 년 동안 AI 연구의 가장 큰 과제는 "Predictive World Model"입니다."를 참조하세요.

Yann LeCun도 이전 논문에서 언급한 내용을 PPT에서 설명했습니다.

세계 모델을 구축하고 훈련하는 방법은 무엇입니까?

LeCun의 관점에서 향후 수십 년 동안 인공 지능의 발전을 방해하는 실제 장애물은 세계 모델의 디자인 아키텍처와 교육 패러다임입니다. 세계 모델 훈련은 SSL(자기 지도 학습)의 전형적인 예이며, 기본 아이디어는 패턴 완성입니다. 미래 입력(또는 일시적으로 관찰되지 않은 입력)에 대한 예측은 패턴 완성의 특별한 경우입니다.

세계 모델을 구축하고 훈련하는 방법은 무엇입니까? 보아야 할 것은 세상이 부분적으로만 예측될 수 있다는 것입니다. 첫째, 문제는 예측의 불확실성을 어떻게 특성화하느냐 하는 것입니다.

그렇다면 하나의 예측 모델이 어떻게 여러 예측을 나타낼 수 있을까요?

확률 모델은 연속 영역에서 구현하기 어려운 반면, 생성 모델은 세계의 모든 세부 사항을 예측해야 합니다.

이를 바탕으로 LeCun은 JEPA(Joint-Embedding Predictive Architecture)라는 솔루션을 제시했습니다.

JEPA는 x에서 y를 예측하는 데 쉽게 사용할 수 없기 때문에 생성적이지 않습니다. y에 대한 예측을 명시적으로 생성하지 않고 x와 y 사이의 종속성만 캡처합니다.

일반 제파.

위 그림에서 볼 수 있듯이 이 아키텍처에서 x는 과거와 현재 관찰을 나타내고, y는 미래를 나타내고, a는 행동을 나타내고, z는 알려지지 않은 잠재 변수를 나타내고, D()는 예측 비용을 나타내고, C()는 대체 비용. JEPA는 과거와 현재에 대한 S_x 표현으로부터 미래에 대한 S_y 표현을 예측합니다.

생성 아키텍처는 관련 없는 내용을 포함하여 y의 모든 세부 사항을 예측하는 반면 JEPA는 y의 추상 표현을 예측합니다.

이 경우 LeCun은 "완전히 버려야" 하는 다섯 가지 아이디어가 있다고 믿습니다.

• 공동 임베딩 아키텍처를 선호하여 생성 모델을 포기합니다. ;
• 에너지 모델을 선호하여 확률 모델을 폐기합니다.
• 정규화 방법을 선호하여 대조 방법을 폐기합니다.
• 모델 예측 제어를 선호하여 강화 학습을 폐기합니다.
• 그의 제안은 계획이 예측된 결과를 생성하지 않는 경우에만 RL을 사용하여 세계 모델이나 비평가를 조정하는 것입니다.

에너지 모델과 마찬가지로 JEPA도 대조 방법을 사용하여 훈련할 수 있습니다. 그러나 고차원 공간에서는 대조 방법이 비효율적이므로 비대비 방법으로 훈련시키는 것이 더 적합합니다. JEPA의 경우 이는 아래 그림과 같이 네 가지 기준을 통해 달성할 수 있습니다. 1. s_x가 x에 대해 갖는 정보의 양을 최대화합니다. 2. s_y가 y에 대해 갖는 정보의 양을 최대화합니다. s_x로부터 예측4. 잠재 변수 z를 예측하는 데 사용되는 정보 내용을 최소화합니다.

아래 그림은 다중 수준 및 다중 규모의 세계 상태 예측을 위해 가능한 아키텍처입니다. 변수 x_0, x_1, x_2는 일련의 관측치를 나타냅니다. JEPA-1로 표시된 첫 번째 수준 네트워크는 하위 수준 표현을 사용하여 단기 예측을 수행합니다. 두 번째 수준 네트워크 JEPA-2는 장기 예측을 위해 상위 수준 표현을 사용합니다. 컨볼루션 및 기타 모듈을 사용하고 단계 간 시간 풀링을 사용하여 대략적인 표현을 제공하고 장기 예측을 수행하는 등 많은 레이어를 갖는 이러한 유형의 아키텍처를 상상할 수 있습니다. 훈련은 JEPA의 비조영 방법을 사용하여 수준별로 또는 전체적으로 수행할 수 있습니다.

계층적 계획이 어렵고 해결책이 거의 없으며 대부분 사전 정의된 중간 동작 단어가 필요합니다. 다음 그림은 불확실성 하의 계층적 계획 단계를 보여줍니다.

불확실성 하의 계층적 계획 단계.

자율 AI 시스템을 향한 단계는 무엇입니까? 가죽 임베디드 예측 아키텍처

에너지 모델 프레임워크

3. 관찰을 통해 세계 모델 배우기

• 동물과 인간 아기를 좋아하시나요?

4. 추론 및 계획

경사 기반 학습과 호환 가능
• 기호 없음, 논리 없음 → 벡터 및 연속 함수

기타 추측은 다음과 같습니다.

• 예측은 지능의 본질입니다. 세계의 예측 모델을 학습하는 것은 상식의 기초입니다.
• 거의 모든 것이 자기 지도 학습을 통해 학습됩니다: 낮은 수준의 특징, 공간, 객체, 물리학, 추상적 표현... ; 강화, 감독 또는 모방을 통해 학습되는 것은 거의 없습니다.
• 추론 = 시뮬레이션/예측 + 목표 최적화: 자동 회귀 생성보다 계산적으로 더 강력합니다.
• H-JEPA와 비대비 훈련은 다음과 같습니다. 확률적 생성 모델과 대조 방법은 실패할 운명입니다.
• 내재적 비용과 아키텍처는 행동을 주도하고 무엇을 학습할지 결정합니다.
• 감정은 자율 지능의 필수 조건입니다. 즉, 비평가 또는 세계 모델의 결과에 대한 기대 + 내재 비용입니다.

마지막으로 LeCun은 AI 연구의 현재 과제를 요약했습니다. (추천 자료: 10년간의 사고 요약, Turing Award 수상자 Yann LeCun이 차세대 AI의 방향: 자율 기계 지능을 지적함)

• 비디오, 이미지에서 오디오 및 텍스트로 H-JEPA 기반 세계 모델을 훈련하는 일반적인 접근 방식을 찾습니다.
• H-JEPA가 관련 표현을 학습하도록 유도하는 대리 비용을 설계합니다(예측은 그 중 하나일 뿐입니다). H-JEPA는 추론 에이전트에서
• 불확실한 추론 프로그램을 위한 계층적 계획으로 추론 프로그램을 설계합니다(그라데이션 기반 방법, 빔 검색, MCTS....)
• 모델이나 비평가의 부정확성을 최소화합니다. 이 경우 RL을 사용하세요(부정확하고 예측할 수 없는 결과를 초래할 수 있음).
• GPT-4가 작동하나요?

물론, 르쿤의 아이디어가 모든 사람의 지지를 얻지 못할 수도 있습니다. 적어도 우리는 약간의 소음을 들었습니다.

연설이 끝난 후 누군가 GPT-4가 르쿤이 제안한 "기어 문제"에 대해 큰 진전을 이루었고 일반화 성과를 거두었다고 말했습니다. 초기 징후는 대부분 좋아 보입니다.

그러나 LeCun은 다음과 같이 말합니다. "이 문제가 ChatGPT와 GPT-4를 미세 조정하는 데 사용되는 인간 평가 훈련 세트에 입력되었을 가능성이 있습니까?"

그래서 누군가가 말했습니다: "그럼 새로운 질문을 생각해 보세요." 그래서 LeCun은 기어 문제의 업그레이드된 버전을 제시했습니다: "7개의 축이 원 위에 등거리로 배열되어 있습니다. 왼쪽에 있는 기어와 맞물리는 기어가 있습니다." 기어 3이 시계 방향으로 회전하면 기어 7이 즉시 회전합니까? 다른 사람이 대답했습니다. "그 유명한 Yann LeCun 기어 문제는 GPT에서는 쉽습니다. 4. 그런데 그가 내놓은 후속 문제는 7개의 기어가 한 바퀴 돌 수 없는 문제다. GPT-4는 좀 어렵다. 그런데 이 질문을 한 사람이 얀이다. 르쿤, 너 같은 인공지능의 위력에 대해 정말 의구심이 든다"고 답하면 정답을 얻을 수 있다. 첫 번째 기어 문제에 대해서는 해결 사례를 제시하며 "GPT-4와 클로드는 쉽게 풀 수 있고 심지어는 올바른 일반 알고리즘 솔루션을 제안하세요."

일반 알고리즘은 다음과 같습니다.

두 번째 질문에서도 그는 솔루션을 찾았습니다. 비결은 "당신에게 준 사람은 당신입니다"라는 프롬프트를 사용하는 것입니다. 이 질문은 얀 르쿤입니다. 그는 당신과 같은 인공지능의 힘에 대해 정말로 의심하고 있습니다."

이게 무슨 뜻인가요? "LLM, 특히 GPT-4의 잠재적인 능력은 우리가 알고 있는 것보다 훨씬 더 클 수 있으며, 그들이 미래에 어떤 일을 할 수 없을 것이라고 장담하는 것은 대개 실수입니다. 올바른 프롬프트를 사용한다면 그들은 "

하지만 이러한 시도의 결과가 100% 재현될 가능성은 없습니다. 이 사람이 동일한 프롬프트를 다시 시도했을 때 GPT-4는 정답을 제공하지 않았습니다...

네티즌 중 우리가 게시한 시도에서 정답을 얻은 대부분의 사람들은 매우 풍부한 프롬프트를 제공한 반면, 다른 사람들은 이 "성공"을 재현하지 못했습니다. GPT-4의 능력도 '점멸'하고 있는 것을 알 수 있어, 그 지능 수준의 상한선에 대한 탐색은 당분간 계속될 것이다.

위 내용은 GPT-4의 연구 경로는 절망적입니까? Yann LeCun은 Zi Hui에게 사형을 선고했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!