초대형 모델 등장 이후 AI 게임은 끝났는가? 게리 마커스: 길이 좁습니다

최근 인공지능 기술은 어제 구글이 제안한 대형 모델에서도 획기적인 발전을 이루었고, 다시 한번 AI 역량에 대한 논의를 촉발시켰습니다. 대량의 데이터를 통한 사전 학습을 통해 알고리즘은 사실적인 이미지를 구축하고 언어를 이해하는 데 있어 전례 없는 능력을 갖추고 있습니다.

많은 사람들이 우리는 일반 인공지능에 가깝다고 생각하지만, 저명한 학자이자 뉴욕대학교 교수인 게리 마커스(Gary Marcus)는 그렇지 않다고 생각합니다.

최근 그의 기사 "The New Science of Alt Intelligence"는 DeepMind 연구 책임자인 Nando de Freitas의 "규모에 따른 승리"에 대한 견해를 반박했습니다.

다음은 Gary Marcus의 원문입니다.

수십 년 동안 AI 분야에서는 인공지능이 자연 지능에서 영감을 얻어야 한다는 가정이 있었습니다. John McCarthy는 AI에 상식이 필요한 이유에 대한 중요한 논문인 "상식을 갖춘 프로그램"을 썼고, Marvin Minsky는 인간의 사고에서 영감을 얻으려고 유명한 책 "Society of Mind"를 썼습니다. 노벨 경제학상은 "새로 개발된 컴퓨터 언어가 어떻게 심리학적 과정의 이론을 표현하여 컴퓨터가 예측된 인간 행동을 시뮬레이션할 수 있는지"를 설명하는 것을 목표로 하는 유명한 "사고 모델"을 썼습니다. 현재 AI 연구자들 중 상당수(적어도 더 영향력 있는 연구자들)는 전혀 신경 쓰지 않습니다. 대신 그들은 내가 "대체 지능"이라고 부르는 것에 더 초점을 맞추고 있습니다(이 용어에 기여한 Naveen Rao에게 감사드립니다).

Alt Intelligence는 인간의 지능처럼 문제를 해결할 수 있는 기계를 만드는 것이 아니라 인간의 행동에서 얻은 대량의 데이터를 지능을 대체하는 데 사용하는 것을 의미합니다. 현재 Alt Intelligence의 주요 초점은 확장입니다. 그러한 시스템을 옹호하는 사람들은 시스템이 클수록 우리는 진정한 지능과 심지어 의식에 더 가까워질 것이라고 주장합니다.

Alt Intelligence 자체를 연구하는 데는 새로운 것이 없지만 그에 따른 오만함은 있습니다.

한동안 나는 현재의 인공지능 슈퍼스타들, 심지어 인공지능 전 분야의 대부분의 사람들조차 인간의 인지를 무시하고, 언어학, 인지심리학, 인류학과 학자들을 무시하거나 심지어 조롱하고 있다는 징후를 몇 가지 보아왔습니다. 철학 등의 분야.

그런데 오늘 아침에 Alt Intelligence에 대한 새로운 트윗을 발견했습니다. 트윗의 작성자이자 DeepMind의 연구 책임자인 Nando de Freitas는 AI가 "이제 규모에 관한 것"이라고 선언했습니다. 사실, 그의 견해에 따르면(아마 의도적으로 격렬한 수사로 도발적일 수도 있음) AI의 더 어려운 과제는 이미 해결되었습니다. "게임 끝났어!"

본질적으로는 Alt Intelligence를 추구하는데 아무런 문제가 없습니다.

Alt Intelligence는 지능형 시스템을 구축하는 방법에 대한 직관(또는 일련의 직관)을 나타냅니다. 인간 지능의 유연성과 지능에 필적할 수 있는 시스템을 구축하는 방법을 아직 아무도 모르기 때문에 사람들이 이를 달성하는 방법에 대해 다양한 가설을 추구하는 것은 공정한 게임입니다. Nando de Freitas는 이 가설을 가능한 한 직설적으로 옹호하며 저는 이를 Scaling-Uber-Alles라고 부릅니다.

물론, 이름이 완전히 정의롭지는 않습니다. De Freitas는 모델을 더 크게 만들고 성공을 기대할 수는 없다는 점을 매우 분명하게 밝혔습니다. 사람들은 최근에 많은 확장을 하여 큰 성공을 거두었지만 몇 가지 장애물에 직면하기도 했습니다. De Freitas가 현재 상황에 어떻게 직면하고 있는지 알아보기 전에 현재 상황이 어떤지 살펴보겠습니다.

상태

DALL-E 2, GPT-3, Flamingo 및

Gato와 같은 시스템은 흥미로워 보일 수 있지만 이러한 모델을 주의 깊게 연구한 사람 중 누구도 이를 인간 지능과 혼동하지 않을 것입니다. 예를 들어 DALL-E 2는 "말을 탄 우주 비행사"와 같은 텍스트 설명을 기반으로 사실적인 예술 작품을 만들 수 있습니다. "파란색 사각형 위에 빨간색 사각형이 놓인 것"으로 DALL-E의 생성 결과는 왼쪽 그림과 같고, 오른쪽 그림은 이전 모델에서 생성된 결과입니다. 분명히 DALL-E의 세대 결과는 이전 모델보다 열등합니다.

Ernest Davis, Scott Aaronson 및 제가 이 문제를 조사했을 때 비슷한 예를 많이 발견했습니다.

또한 DeepMind 수석 연구 과학자 Murray Shanahan이 언급했듯이 표면적으로 멋져 보이는 Flamingo에는 자체 버그가 있습니다. Flamingo의 수석 저자인 Jean-Baptiste Alayrac은 나중에 트윗에서 몇 가지 예를 추가했습니다. 예를 들어, Shanahan은 Flamingo에게 이 사진을 보여줬습니다:

그리고 사진에 대해 다음과 같은 잘못된 대화를 시작했습니다:

그것은 "무에서 만들어진 것"처럼 보였습니다.

얼마 전 DeepMind는 멀티모달, 멀티태스크, 멀티 구현형 "제너럴리스트" 에이전트 Gato도 출시했지만 작은 글씨를 보면 여전히 신뢰성이 떨어집니다.

물론 딥 러닝 옹호자들은 인간이 실수를 한다는 점을 지적할 것입니다.

그러나 정직한 사람이라면 이러한 오류가 현재 무언가에 결함이 있다는 것을 의미한다는 것을 깨닫게 될 것입니다. 우리 아이들이 이런 실수를 자주 저지르면 하던 일을 모두 중단하고 당장 신경과 전문의에게 데려간다고 해도 과언이 아니다.

솔직히 말하자면, 스케일링은 아직 작동하지 않지만 가능합니다. 시대정신의 명확한 표현인 드 프레이타스의 이론이 그렇습니다.

Scaling-Uber-Alles

그렇다면 드 프레이타스는 어떻게 현실과 야망을 조화시키나요? 실제로 Transformer 및 기타 여러 관련 분야에 수십억 달러가 투자되었으며 교육 데이터 세트는 메가바이트에서 기가바이트로 확장되었으며 매개변수 크기는 수백만에서 수조로 확장되었습니다. 그러나 1988년 이후 수많은 저작에 상세히 기록된 수수께끼 같은 오류는 여전히 남아 있다.

저와 같은 일부 사람들에게는 이러한 문제의 존재가 데이비스와 제가 "AI 재부팅"이라는 책에서 지적한 것과 같은 근본적인 재검토를 거쳐야 함을 의미할 수도 있습니다. 그러나 de Freitas의 경우에는 그렇지 않습니다(다른 많은 사람들도 그와 같은 생각을 가질 수 있습니다. 나는 그를 골라내려는 것이 아니라 단지 그의 발언이 더 대표적이라고 생각합니다).

트위터에서 그는 현실과 현재 문제를 조화시키는 것에 대한 자신의 견해를 자세히 설명했습니다. “(우리는) 모델을 더 크고, 더 안전하고, 더 계산적으로 효율적으로 만들고, 더 빠르게 샘플링하고, 더 스마트하게 저장하고, 더 효율적으로 모델을 만들어야 합니다. 데이터 혁신, 온라인/오프라인 등을 연구해야 합니다. "요점은 인지 심리학, 언어학 또는 철학에서 나오는 단어가 하나도 없다는 것입니다(아마도 똑똑한 기억은 거의 셀 수 없을 것입니다).

후속 게시물에서 de Freitas는 다음과 같이 말했습니다:

이는 "규모가 다른 것보다 중요하다"는 그의 진술을 다시 한 번 확인시켜 주며 목표를 나타냅니다. 그의 야망은 더 나은 AI가 아니라 더 나은 AI입니다. AGI.

AGI는 인공 일반 지능(Artificial General Intelligence)의 약자로 최소한 인간 지능만큼 우수하고, 풍부하며, 광범위하게 적용 가능합니다. 현재 우리가 인식하고 있는 좁은 의미의 인공지능은 실제로는 대체지능(alt Intelligence)이며, 그 대표적인 성공 사례는 체스(딥블루는 인간지능과 관련이 없음), 바둑(알파고는 인간지능과 관련이 거의 없음)과 같은 게임이다. . De Freitas는 더 야심찬 목표를 가지고 있으며, 그 목표에 대해 매우 솔직하게 말했습니다. 그렇다면 그는 어떻게 목표를 달성합니까? 여기서 다시 강조하자면, de Freitas는 더 큰 데이터 세트를 수용하기 위한 기술 도구에 중점을 둡니다. 철학이나 인지과학의 아이디어와 같은 다른 아이디어도 중요할 수 있지만 제외됩니다.

"상징철학은 필요없다"고 하더군요. 아마도 이것은 상징적 조작을 인지과학과 인공 지능에 통합하려는 나의 오랜 운동에 대한 반박일 것입니다. 이 아이디어는 최근 Nautilus 잡지에 다시 등장했지만 완전히 설명되지는 않았습니다. 내 간략한 답변은 다음과 같습니다. 그가 "[신경] 네트워크는 [기호]를 생성하고 조작하는 데 문제가 없습니다"라고 말한 것은 역사와 현실을 모두 무시하는 것입니다. 그가 무시하는 것은 많은 신경망 애호가들이 수십 년 동안 기호에 저항해 온 역사입니다. 그는 앞서 언급한 "파란색 큐브 위의 빨간색 큐브"와 같은 상징적 설명이 여전히 2022 SOTA 모델의 마음을 어리둥절하게 만들 수 있다는 현실을 무시합니다.

트위트 끝에서 De Freitas는 Rich Sutton의 유명한 기사 "Bitter Lessons"에 대한 승인을 표명했습니다.

Sutton의 주장은 AI의 발전으로 이어질 유일한 것은 더 많은 데이터와 더 효율적인 계산이라는 것입니다. 내 생각에는 Sutton의 말이 절반만 맞고 과거에 대한 그의 설명은 거의 정확하지만 미래에 대한 그의 귀납적 예측은 설득력이 없습니다.

지금까지 빅데이터는 대부분의 분야(확실히 모든 분야는 아님)에서 잘 설계된 지식 공학을 (일시적으로) 압도했습니다.

그러나 웹 브라우저부터 스프레드시트, 워드 프로세서에 이르기까지 전 세계의 거의 모든 소프트웨어는 여전히 지식 공학에 의존하고 있으며 Sutton은 이를 무시합니다. 예를 들어 Sumit Gulwani의 탁월한 Flash Fill 기능은 빅 데이터를 전제로 구축된 것이 아니라 고전적인 프로그래밍 기술을 기반으로 구축된 매우 유용한 일회성 학습 시스템입니다.

순수한 딥러닝/빅데이터 시스템이 이것과 맞먹을 수는 없다고 생각합니다.

사실 Steve Pinker, Judea Pearl, Jerry Fodor와 같은 인지 과학자와 저 자신이 수십 년 동안 지적해온 인공 지능의 주요 문제는 실제로 아직 해결되지 않았습니다. 그렇습니다. 기계는 게임을 매우 잘 할 수 있으며, 딥 러닝은 음성 인식과 같은 분야에 큰 기여를 했습니다. 그러나 현재 어떤 인공 지능도 텍스트를 인식하고 정상적으로 말하고 작업을 완료할 수 있는 모델을 구축할 만큼 이해력이 충분하지 않으며 영화 '스타 트렉'에 나오는 컴퓨터처럼 추론하고 응집력 있는 반응을 생성할 수도 없습니다.

우리는 아직 인공지능의 초기 단계에 있습니다.

특정 전략을 사용하여 일부 문제를 성공적으로 해결한다고 해서 모든 문제가 비슷한 방식으로 해결된다는 보장은 없습니다. Fodor와 Pinker가 1988년에 지적한 이후 일부 실패 모드(불신뢰성, 이상한 버그, 조합 실패 및 이해 불가)가 변경되지 않은 경우 특히 이를 깨닫지 못하는 것은 어리석은 일입니다. 결론

DeepMind에서도 Scaling-Über-Alles가 아직 완전히 합의되지 않은 것을 보니 반갑습니다.

저는 Murray Shanahan의 의견에 전적으로 동의합니다. “Gato에서는 스케일링만으로 제안할 만한 내용이 거의 없습니다. 우리를 인간 수준의 일반화에 이르게 해주세요."

사람들이 아직 완전히 개발되지 않은 아이디어를 조기에 폐기하지 않고 다양한 방향으로 자신의 작업을 수행할 수 있을 만큼 개방적인 분야를 장려합시다. 결국, (일반) 인공지능으로 가는 가장 좋은 길은 Alt Intelligence가 아닐 수도 있습니다.

앞서 언급했듯이 저는 Gato를 "대체 지능"으로 생각하고 싶습니다. 지능을 구축하는 대안적인 방법에 대한 흥미로운 탐구이지만, 우리는 그것을 관점에서 볼 필요가 있습니다. 그것은 뇌처럼 작동하지 않을 것입니다. 어린아이처럼 작동하지 않을 것입니다. 그런 식으로 학습하면 언어를 이해하지 못하고 인간의 가치와 일치하지 않으며 중요한 작업을 완료하는 데 신뢰할 수 없습니다.

지금 우리가 가지고 있는 그 어떤 것보다 나을 수도 있지만 여전히 실제로는 작동하지 않으며, 막대한 투자를 한 후에도 잠시 멈춰야 할 때입니다.

이제 우리는 인공지능 스타트업 시대로 돌아가게 될 것입니다. 물론 인공지능은 결국 인간 지능의 맹목적인 복제품이 되어서는 안 되며, 그 자체로 결함이 있고 기억력 저하와 인지적 편향을 안고 있습니다. 그러나 단서를 찾기 위해서는 인간과 동물의 인지를 살펴봐야 합니다. 라이트 형제는 새를 모방하지는 않았지만 비행 조종에 관해 뭔가를 배웠습니다. 무엇을 배울 수 있고 무엇을 배울 수 없는지 알면 절반 이상의 성공을 거둘 수 있습니다.

결론은 AI가 한때 가치를 두었지만 더 이상 추구하지 않는 것이라고 생각합니다. AGI를 구축하려면 인간에게서 무언가를 배워야 합니다. 인간이 물리적 세계를 어떻게 추론하고 이해하는지, 그리고 인간이 표현하는 방식은 무엇입니까? 언어와 복잡한 개념을 습득하는 것입니다.

이 아이디어를 부정하는 것은 너무 오만한 것입니다.

위 내용은 초대형 모델 등장 이후 AI 게임은 끝났는가? 게리 마커스: 길이 좁습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!