왕준 교수는 AI 학자 7명을 조직해 ChatGPT 이후 일반 인공지능의 이론과 응용에 대해 논의했다.

ChatGPT의 인기로 인해 인공지능에 대한 관심이 다시 한 번 높아졌습니다. 그렇다면 ChatGPT 이후 인공지능은 어떻게 발전하게 될까요? 업계와 ChatGPT의 모회사인 OpenAI는 AGI가 향후 인공지능의 발전 방향이 될 것으로 믿고 있습니다.

AGI 이론 연구와 응용 실습은 어떤 측면에서 시작되나요? [ChatGPT 및 대형 모델 봄 강좌] 마지막 주제 토론에서는 UCL, 중국 인민대학교, 화웨이, 칭화대, 중국과학원, 상하이자오퉁대학교, 난징대학교, 리버풀대학교의 학자들과 전문가들이 한 자리에 모였습니다. "ChatGPT 이후의 일반 인공지능" 지능 이론 및 응용'을 논의합니다.

다음은 원탁 토론의 주요 내용을 요약한 것입니다.

주제 1: 우리는 작업을 위해 기계를 훈련시키기 위해 알고리즘을 설계할 필요가 없는 일반적인 인공 지능을 항상 갈망해 왔습니다. ChatGPT는 우리에게 그러한 가능성을 가져다 주나요? 최근 몇 년 동안 그러한 꿈을 실현할 수 있습니까?

Liu Qun: 처음에는 "일반 인공 지능"이라는 용어에 약간 혐오감을 느꼈습니다. 공상 과학 용어에 가깝고 신뢰할 수 없다는 것을 이해했기 때문입니다. 그래서 나는 이전에 이 개념에 관한 질문에 대답하기를 꺼려왔습니다. 그런데 최근에는 이 표현이 상당히 타당한 것 같다. 오늘날의 인공 지능 모델은 점점 더 일반화되고 있습니다. 과거에는 몇 가지 작은 문제나 단일 문제만 처리할 수 있었지만 이제는 ChatGPT라는 용어가 기본적으로 모든 종류의 문제를 처리할 수 있다고 생각합니다. 지능은 아주 적절합니다.

일반 인공지능이 구현될지는 감히 판단할 수 없으나, 어느 정도 일반 자연어 처리는 구현되었습니다. 자연어 분야에서는 기계 번역, 감정 분석, 중국어 단어 분할 등 작은 문제를 해결하는 것이 매우 복잡합니다. 왜냐하면 단어는 텍스트이고 기호이기 때문입니다. 어떤 작은 방향이라도 잘하려면 언어체계 전체를 이해해야 합니다. 따라서 ChatGPT의 언어 기능 구현은 매우 강력하며 특히 담화 기능이 뛰어납니다. 담론은 자연어에서 매우 깊고 어려운 문제이기 때문이다. ChatGPT는 기사 작성의 루틴과 어휘를 포함하여 인간 의사소통 과정의 담론 구조를 매우 잘 배웠습니다. 이는 기사를 구성하는 매우 추상적인 논리 방식입니다. 최근의 몇 가지 예는 인간의 음성을 시뮬레이션하고 특정 역할을 맡을 수 있다는 것입니다. 이것은 중첩된 구조를 가진 자연어 처리이며, 주제를 만들지 않고도 뛰어들 수 있는 매우 좋습니다. 엉망.

왕준: 머신러닝을 보면 그 목적 방정식은 매우 간단합니다. 첫 번째는 이전 단어에서 다음 단어를 예측하는 것입니다. 두 번째는 이 문장에 대한 답이 다음과 유사한지 여부입니다. 인간? 이 두 가지 매우 간단한 목표를 사전에 많은 논리와 설계가 필요하다고 느껴지는 것을 배울 수 있는 이유는 무엇입니까?

Liu Qun: 목표를 달성하려면 사용되는 복잡한 지식이 잘 포함되어야 합니다. 지식이 더 좋고 더 깊어질수록 예측도 더 좋아질 것입니다. 따라서 목표는 단순하더라도 이를 달성하는 수단은 한없이 복잡할 수 있습니다. 따라서 이를 잘 수행하려면 매우 강력한 모델과 많은 데이터가 필요합니다.

황민리에: 과거 중국 사람들은 일반적으로 AGI 개념에 대해 감히 이야기하지 않았고 AGI의 정의조차 명확하지 않았습니다. 그래서 우리는 때때로 중국 과학자들이 감히 꿈을 꾸지 못한다고 농담합니다. AGI에 대해 말하면 그들은 살포되어 죽을 것이기 때문입니다. 외국 과학자들은 참으로 감상적입니다. 예를 들어 1966년에 MIT 교수가 AI 대화 시스템을 사용하여 채팅 로봇과 심리 치료 로봇을 만들었습니다. 이것은 감히 생각하고 실행하는 일이라고 생각합니다. 우리에게서 배울 가치가 있습니다.

다시 질문으로 돌아가서, 우리는 이제 AGI에서 얼마나 멀리 떨어져 있나요? 일반적인 의미에서 아직 멀었다고 생각합니다. 현재 ChatGPT가 구현하는 지능 수준은 아직 AGI를 개발하는 단계에 있지만, 우리가 감히 생각하지 못하는 것들은 이미 구체화되기 시작했습니다. 따라서 다른 방식으로 표현하는 것이 더 나을 것 같습니다. 넓은 의미에서 AGI를 달성할 수 있는 능력이 있는지 여부에 대해서는 논의하지 않겠습니다. 넓은 의미에서 우리는 다양한 독립적 사고 및 일반화 능력을 가질 수도 있기 때문입니다. 오늘날의 전반적인 지능 수준은 실제로 이전 AI가 달성할 수 있는 수준을 넘어섰습니다. 기술적인 경로도 매우 다릅니다. IBM Watson이 개발한 DeepQA 기술은 완전히 전통적이고 고전적입니다. 의미 분석의 이러한 이해 루틴은 문장의 문법과 구문 구조를 매우 명확하게 분석하는 것입니다. 이는 학문적 사고의 또 다른 학파를 나타냅니다.

하지만 오늘날 보면 ChatGPT는 데이터뿐만 아니라 데이터와 모델에 반영되는 힘, 모델 자체가 출현하는 능력도 포함하고 있습니다. 그렇다면 앞으로는 이것이 AGI로 가는 올바른 길이라고 생각하나요? 사람마다 의견이 다르죠. 시도해 볼 만한 방향이라고 생각하지만, 그것이 유일한 방향은 아닙니다. 이것이 나의 주요 요점 중 하나입니다. 학습 방법은 데이터와 모델의 폭력적인 미학이 아니라 여전히 많은 모델 알고리즘의 설계, 특히 인간 데이터와의 정렬을 반영합니다. OpenAI에 대한 자세한 내용은 많이 공개되지 않았지만 그 안에는 정교한 데이터 처리 기능이 많이 탑재되어 있지 않을까 싶습니다. 지금 보시는 것은 단순히 데이터로 시작하는 것처럼 보이지만 실제로는 그렇게 간단하지 않을 수도 있습니다.

Fang Meng: ChatGPT는 정말 강력해요. 최근에 코드 작성을 요청했는데, 직접 작성한 코드를 실행해보니 버그가 발견됐어요. 버그 정보를 직접 복사해서 ChatGPT에서 처리하게 했더니, 기능과 코드를 추천해 주셨어요. 하지만 이 기능은 버전 업데이트에서 더 이상 사용되지 않습니다. 권장 기능을 기반으로 업데이트를 빠르게 찾아서 문제를 해결했습니다. 제 생각엔 보통 사람은 코딩을 구체적으로 배우지는 않지만 소통은 필요하다고 생각합니다. 그리고 ChatGPT는 대부분의 NLP 작업을 거의 고려하여 많은 NLP 작업을 매우 잘 처리하며 보편적인 AI인 것 같습니다. 하지만 OpenAI가 공개한 모델은 2021년 이전의 데이터를 기반으로 학습되어 새로운 지식을 처리할 수 없습니다. 순수한 NLP 관점에서 보면 대부분의 NLP 연구 문제를 처리할 수 있는 AGI 모델인 것 같습니다. 앞으로 NLP에 대한 우리의 과학적 연구는 확실히 많은 새로운 질문을 만들고 새로운 것을 탐구할 것입니다. 언젠가 ChatGPT가 유사한 작업을 수행하여 기존 문제를 처리하는 대신 자체적으로 새로운 문제를 생성할 수 있다면 어떨까요? 스스로 새로운 것을 만들어낸다는 점에서 일반 인공지능에 더 가깝다고 봅니다. 지금 그가 습득한 기술은 여전히 ​​과거의 엄청난 양의 데이터를 기반으로 하고 있다고 생각합니다. 그 모델 훈련에는 엄청난 컴퓨팅 파워와 정교한 엔지니어링이 있습니다. 하지만 그것은 한 가지 방법일 수도 있고 다른 방법이 있을 수도 있습니다. 그래서 우리는 다른 방법도 모색할 수 있습니다.

그리고 또 다른 질문도 생각 중입니다. 2022년의 데이터를 학습하게 한다면 얼마나 오랫동안 학습시켜야 할까요? 인간처럼 배우는 것이 가능한가요? 아니면 빨리 배우는 것이 좋을까요? 이는 일반 인공지능의 핵심 포인트 중 하나이기도 하다. 현재 OpenAI가 공개적으로 사용하고 있는 모델은 아직 이 수준은 아니지만 실제로는 매우 강력하며 이는 중요한 진전입니다.

주제 2: ChatGPT의 단점은 무엇인가요? 기계 학습 관점에서 원하는 위치에 도달하기 위해 어떤 측면을 개선할 수 있습니까? 아니면 그 능력의 경계는 무엇입니까?

원지롱: 아직도 분명한 단점이 있습니다. 첫째, ChatGPT의 지식은 실시간으로 충분하지 않습니다. 언어 모델은 방대한 데이터에서 지식과 기능을 모두 학습하고 인간의 두뇌처럼 표현될 수 있습니다. 하지만 이 지식은 학습 중에 수정되었기 때문에 2021년 9월 이후 새로운 데이터가 학습에 투입되는 상황이 있을 것입니다. 새로운 것을 추가하려면 재교육이 필요합니다. 이는 비용이 많이 들고 현재는 기본적으로 불가능합니다. 따라서 ChatGPT와 Bing이 통합되어 최신 네트워크 데이터를 기반으로 검색 결과와 콘텐츠 생성을 결합합니다. 결합 후 ChatGPT 지식의 실시간 및 정확성 문제를 해결할 수 있습니다. 그러나 나는 개인적으로 이 문제는 아직 시작 단계이고 심도 있는 연구의 가치가 있다고 생각한다. 대형 모델의 데이터는 정적이며 전체 인터넷 또는 외부 지식은 동적입니다. 모델을 사용하여 결과를 생성할 때 모델의 내부 지식과 외부 지식을 결합하여 결과를 생성하는 방법. 이 질문에 대한 좋은 답은 아직 없지만, 잘만 이루어진다면 큰 의미가 있을 것입니다. 항상 모델을 재교육할 수는 없기 때문에 보다 동적인 데이터나 전문적인 도메인 지식이 들어올 때 생성 또는 추론 작업을 완료하기 위해 결합할 수 있는 안정적인 기본 모델이 필요합니다. 둘째, 저는 2년 넘게 대규모 다중 모드 모델 작업을 해왔습니다. 보시다시피 GPT-4에는 이미 일부 다중 모드 모델이 있는데, 이는 인상적입니다. 앞으로는 생성과 추론을 위해 여러 양식이 어떻게 함께 잘 작동할 수 있는지 더 연구해야 한다고 생각합니다. 아직 작업이 필요한 부분입니다. 셋째, 현재 대형 모델의 가장 큰 문제는 가격이 너무 비싸다는 점이라고 생각합니다. 수백억, 수천억 규모의 모델만이 등장할 수 있는 능력이 있다고 합니다. 이 문제가 실제로 과학의 길을 가로막았습니다. 연구 공동체. ChatGPT 규모의 모델이 없으면 연구를 할 수 없나요? 미래에 중간 모델에서 상대적으로 높은 역량이나 성능을 달성할 수 없다면 후속 과학 연구는 매우 어려울 것입니다. NLP 분야는 최근 큰 영향을 받았습니다. 실제로 정보 검색에도 큰 영향을 미쳤습니다. 전통적인 순위 작업을 수행하는 것은 의미가 없습니다. 이제 Bing이 대화형 검색이므로 대화형 추천이 곧 제공될 예정입니다. 정보 검색을 정보 생성이라고 부르기도 하고 필드 이름을 바꿔야 할 수도 있습니다. 이제 상황이 극적으로 변하고 있습니다. 향후 연구 플랫폼에서 획기적인 발전이 있을 것으로 기대됩니다. 제한된 규모의 모델에서 오늘날의 ChatGPT 또는 GPT-4의 모델 기능을 어떻게 제시하는지는 매우 중요합니다.

왕준: 솔루션 중 하나를 삽입하고 싶습니다. 학계에서 오픈 소스를 사용하는 것이 유일한 방법일 수 있습니다. 대규모 모델이 오픈 소스인 경우 최소한 모델을 사전 훈련한 다음 조정하거나 이 방향으로 과학적 연구를 수행할 수 있습니다. 업계에서는 아키텍처를 고안하고 오픈 소스는 아키텍처의 활용도를 높입니다. ChatGPT에는 여전히 여러 가지 결함이 있지만, 인간 두뇌 연구에서 인공 지능으로의 도약에 대해 Li 선생님은 어떻게 생각하시나요?

Li Chengyu: 지금 강의를 들으면서 가장 많이 생각한 것은 '진화'였습니다. 왜죠? 인공지능은 1960년대에 시작되었기 때문에 매우 빠르게 발전해 왔으며 기하급수적인 진화 과정을 이루고 있습니다. 방금 AGI에 대해 언급했습니다. 사실 AGI는 인간의 두뇌에 이미 존재합니다. AGI는 많은 일을 할 수 있는 물리적 개체이고 대규모 네트워크이기 때문에 사람 자신도 AGI를 갖고 있습니다. 우리의 뇌 자체는 일반적인 기능을 갖춘 네트워크이므로 이론적으로는 생물학적 신경망이든 인공 신경망이든 많은 일을 할 수 있습니다. 인공지능의 폭발적인 기하급수적인 성장으로 인해 인간의 생물학적 두뇌의 진화와 유사한 GPT4와 같은 혁신적인 발전이 이루어졌습니다. 인간의 뇌는 모든 생명체 중에서 신체에 비례하여 가장 많은 수의 뇌를 가지고 있습니다. 이제 쥐의 뇌에는 약 7천만 개의 뉴런이 있고, 원숭이 뇌에는 약 60억 개가 있으며, 인간의 뇌에는 약 800억~1000억 개가 있습니다. 이 역시 기하급수적인 성장입니다. 따라서 이러한 관점에서 볼 때 GPT 진화의 혁명은 매우 흥미롭습니다. 개인적으로 이것은 신경과학과 뇌과학을 전공하는 우리들에게 생물학적 뇌와 인공뇌의 관계에 대해 생각해 볼 수 있는 매우 중요한 기회라고 생각합니다.

이 밖에도 뇌 메커니즘의 관점에서 보면 흥미로운 논의가 많이 있을 것 같아요. 방금 2021년 말 이후에는 대형 모델이 지속적인 학습을 수행할 수 없다는 문제를 언급했습니다. 그러나 인간의 두뇌는 분명히 지속적인 학습이 가능하며 특정 시점이 지나도 학습을 멈추지 않을 것입니다. 하지만 흥미로운 점은 우리 뇌에 이 능력을 제어하는 ​​일부 뇌 조직과 영역이 있다는 것입니다. 한 가지 예가 해마의 경우이다. H.M. 의사가 간질 환자의 해마를 제거한 후 그의 장기 기억은 수술 순간에 멈춰 그 이후에도 새로운 사실을 배울 수 없었다. 이 예는 지금 우리가 논의하고 있는 문제와 다소 유사합니다. 대형 모델의 지속적인 학습 능력은 생물학적 두뇌에서 빌려온 것이 아닐 수도 있으므로 이것이 기회라고 생각합니다. 신경과학은 생물학적 뇌의 지속적인 학습 능력 메커니즘을 추출하여 새로운 인공지능 신경망을 설계하는 데 도움이 되는 방법을 알아보기 위해 여러분과 더 많이 소통해야 합니다. 나는 이것이 공진화의 과정이라고 생각하며, 이 과정은 생물학적 뇌가 어떻게 지속적인 학습을 달성하는지 이해하는 데에도 도움이 될 것입니다. 예전에는 이것을 중요하게 여기지 않았지만, 지금은 이것이 우리가 계속해서 새로운 도전에 직면할 수 있게 해주는 중요한 것이라고 봅니다.

현재 지도 연구를 진행하고 있습니다. 이것은 매우 기초적인 연구입니다. 뇌에 어떤 종류의 세포가 있고, 그 세포들이 어떻게 연결되어 있는지를 이해하는 것이 생물학적 뇌 분야에서는 아직 명확하지 않습니다. 그러나 AI 네트워크는 각 뉴런 사이의 연결이 매우 명확하므로 현재 연구 과정에서 BGI 및 화중 농업 대학교와 같은 연구 기관과 협력하여 다양한 종의 진화 과정에서 해마가 6종의 큰 변화가 있었고, 새로운 유형의 뉴런이 많이 나타나며, 새로운 뇌 영역도 많이 있습니다. 우리는 거북이, 새, 생쥐, 원숭이 및 인간을 연구하면서 해마에 많은 새로운 소구역이 나타났습니다. 이 과정에서 인간의 행동 능력이 계속해서 증가합니다. 그래서 저는 이러한 행동의 복잡성과 능력이 해마에서 새로운 세포의 출현과 일치한다고 생각합니다. 우리는 이러한 새로운 세포에 대해 배우고 있습니다.

앞으로 우리가 할 수 있는 일에 대해 이야기하고 싶습니다. 여기서는 할 일이 많다고 느낍니다. 연구 방향도 바꾸고 있다. 이제는 쥐와 원숭이를 대상으로 한 연구에서 몇 가지 원리를 추출해 인간의 뇌에 적용하면 낮은 전력 소모로 더 복잡한 기능을 구현할 수 있을 것 같다. Ke Jie는 체스에서 AlphaGo를 이길 수 없지만 매일 빵 몇 개와 찐빵만 먹으면 에너지 소비가 매우 낮지만 인공지능 채팅 GPT도 마찬가지입니다. 이 문제는 미래에 살아있는 유기체로부터 학습하여 더 낮은 에너지 소비로 물리적 지능을 생산해야 합니다.

미래에는 인식, 인지, 움직임을 통합하는 것이 필요합니다. 지금은 이 형태로는 로봇이 돌아다니도록 제어할 수는 없지만, 앞으로는 최소한 현장에서 해결이 가능할 수도 있다고 생각합니다. 인식의. 우리는 인지 문제를 해결하기 위해 Chat GPT 또는 GPT4를 이해하고 있으며 앞으로는 모션 제어와 연결될 것이며 트랜스포머를 기반으로 하는 많은 모션 제어 로봇 손과 로봇 팔이 지속적으로 개발되고 있는 것으로 알고 있습니다. 지각, 인지, 움직임이 하나로 통합된다면 각각의 개별 모듈이 통합될 수 있다는 점은 모두가 크로스 필드 통합을 언급한 것처럼 앞으로 매우 중요한 포인트라고 생각합니다. 인공지능이 발전하는 과정에서 뇌과학이 모두와 협력해 더 흥미로운 일을 할 수 있기를 바랍니다.

왕준: 리 선생님께 여쭤보고 싶습니다. 인간의 뇌는 너무 복잡하고 오랜 세월 동안 진화해 왔지만 뇌에는 보상 기능도 없고 귀납적 편견도 없습니다. 하지만 머신러닝을 수행할 때는 특정 사전 지식이나 가정을 제공해야 합니다. 사전 지식이나 가정 없이는 어떠한 예측도 할 수 없습니다. 머신러닝에서는 일반적인 인공지능에 대해 이야기하고 있지만 아직 이 두 가지 전제를 제거하지 못했습니다. 그런데 인간의 뇌를 보면 보상 메커니즘도 없고 사전 지식도 없는 상태에서 어떻게 현재의 지혜를 생성할 수 있을까요? ? 그러나 현재의 기술로는 이를 달성할 수 없습니다. 리 선생님은 어떻게 생각하시나요? AI 전문가들은 어떻게 생각하나요? 보상 메커니즘과 사전 지식이 필요합니까?

Li Chengyu:몇 가지 조명부터 시작하겠습니다. 첫째, 진화 과정에 보상 ​​메커니즘이 있는지에 대해서는, 모든 생명체의 99% 이상이 멸종했다고 봅니다. 관점, 종, 개체 모두 보상 메커니즘을 가지고 있습니다. 모든 사람에게는 보상과 처벌이 있으며 이러한 과정은 우리 뇌의 구조와 기능을 변화시킬 수 있습니다. 그러므로 생물학적 진화에는 보상이 반드시 존재해야 한다고 생각합니다. 두 번째는 방금 말씀하신 BIAS입니다. 사실 생명체에도 BIAS가 있습니다. 아이들은 놓으면 떨어지는 것과 같은 물리학의 기본 원리를 가지고 태어납니다. 우리가 태어날 때 신경망은 장기적인 진화를 거쳤으며, 그 안에는 특정 얼굴에 대한 관심을 포함하여 외부 물리학과 인간의 사회적 행동에 대한 특정 편견이 있습니다. 기계 학습은 다릅니다. 사람들은 외부에서 관점을 바꿔 인공 지능이 다른 에이전트와 체스를 두도록 해야 하며, 이전 세대는 BIAS로 사용될 수 있습니다. 이건 어쩔 수 없는 것 같아요. 개인이 항상 특정 작업 상태에 있을 때 경쟁하는 종들 사이에서 특정 궤적을 따라 전진할 것이라고 생각하며, 이 궤적은 물리적 실체에 의해 구성됩니다. 이 프레임워크는 기존 경계에 의존해야 합니다. BIAS를 통해서만 더 빠르게 승리할 수 있습니다.

왕준: AI가 스스로 운전할 수 있는 능력이 있는지, 언제 자아 개념을 갖고 스스로 진화하고 의식을 갖게 되는지 묻고 싶습니다. 이런 의식은 인간에게만 있는 현상인데, ChatGPT도 의식이 있어서 다른 사람의 생각을 알 수 있는 걸까요? 그런데 사실은 텍스트 목록에만 남아 있을 뿐입니다. 텍스트 형식에서도 이 내용을 반드시 100% 포착하지는 않습니다. 이에 대해 모두가 어떻게 생각하는지 모르겠습니다. AGI에 자아와 의식이 없으면 보상 기능이 있습니까? 아니면 외부에서 제공됩니까? 아니면 자체적으로 생성할 수 있습니까?

Liu Qun:제가 이해한 것에 대해 조금 설명하겠습니다. 방금 리 선생님은 생존이 궁극적인 보상이라고 말씀하셨습니다. 사실 인간의 궁극적인 보상은 생존이고 모든 목적은 생존입니다. 하지만 우리가 살아가면서 생존을 위해 모든 것을 다 하고 있는 것은 아니라는 생각이 들겠지만, 사실 이것들은 모두 일종의 생존압력으로 결국 변질되는 것입니다. 표현의 또 다른 형태는 보상입니다. 살기에 관한 것 같지는 않지만 실제로는 생존에 관한 것입니다. 그래서 현재의 AI는 생존에 대한 부담이 없기 때문에 자기진화를 일으키기는 어렵다고 생각합니다. 만약 그것을 황무지에 놓고 컴퓨팅 파워에 제한을 가한다고 가정해보자. 스스로 경쟁할 수 있는 환경을 만들지 않는 이상, 언젠가는 다른 사람의 전원 코드를 떼어내고 자신의 것을 보호할 수도 있을 것이다.

Li Chengyu: 의식의 문제는 분명히 매우 중요하지만 해결되지 않은 문제이지만, 현재는 찾을 수 없는 것은 아닙니다. 의식 분야에는 흥미로운 연구 방법이 있습니다. 시각적 자극. 실험자들은 때때로 볼 수 있고, 때로는 보이지 않는다고 보고하는데, 이때 뇌의 활동에는 큰 차이가 있다고 보고한다. 아마도 이러한 유형의 게임은 chatGPT 또는 기타 인공 지능 네트워크를 테스트하여 인간과 같은 의식 성능을 가지고 있는지 테스트하는 데 사용될 수 있습니다. 실제로 이 분야에는 많은 논쟁이 있지만 현재는 확실히 답이 없습니다. 이 분야를 생물학적으로 연구할 수 있기 때문에 함께 일할 수 있다고 생각합니다. 원숭이에게 보이는 자극 50%, 보이지 않는 자극 50%를 주고, 원숭이의 뇌 활동을 확인하고, 이를 AI 네트워크와 비교해 보세요.

주제 3: 의사결정 지능: 현재의 로봇은 보고 읽을 수 있지만 걷지는 못합니다.

유양: ChatGPT나 최근 GPT의 확산으로 강화학습 의사결정 분야에 종사하고 있지만 감동도 많이 받았습니다. 이 분야에서는 일부 대규모 모델 연구도 진행되고 있다. 하지만 다행스럽게도 강화학습을 대체하거나 무너뜨릴 수 있는 모델은 없습니다. 이는 기존 GPT 모델과 인간의 생물학적 지능 사이에 여전히 큰 격차가 있다는 사실도 보여준다. 특히 ChatGPT에는 월드 모델 부분이 부족합니다. 현재 GPT 모델에는 작업 메모리가 없으며 컨텍스트 및 프롬프트 입력만 있습니다. 강화학습 연구에서 우리는 이 맥락이 특정한 기억 능력을 가지고 있다는 것을 발견했습니다. 즉, 과거의 행동과 그 결과, 그리고 세상의 반응을 인식하고 기억할 수 있다는 것입니다. 하지만 이 기억력은 선형적 순서일 뿐이고 저장할 특별한 장소가 없기 때문에 강력하지 않을 수 있습니다. 이것은 리 선생님께서 앞서 말씀하셨던 것과는 다릅니다. 생명체의 해마는 우리의 단기 기억에 매우 중요합니다. 최근에는 생물학에 관한 논문도 읽었는데, 흥미로운 내용이 많다는 걸 알게 됐어요. 해마와 세계 모델 사이에는 매우 긴밀한 연결이 있지만 GPT 모델의 경우는 그렇지 않습니다. GPT 모델은 꿈을 꾸지 않습니다. 우리는 생쥐가 꿈을 꿀 때 생쥐의 해마가 낮에 접했던 것을 재생한다는 것을 알 수 있는데, 이는 실제로 세계 모델의 매우 전형적인 표현입니다. 쥐의 몸은 움직이지 않았지만 뇌는 움직였습니다. 보는 모든 데이터는 뇌에서 재생되는데, 시각화 결과에 따라 시간순으로 정렬되지 않고 끝부터 시작점까지 역순으로 배열된다. 이는 강화학습의 데이터 재생과 유사하다. 기억력은 정말 비슷해요. 따라서 이러한 관점에서 볼 때 현재 GPT 모델은 기능적으로 충분히 완전하지 않습니다. 간단히 말해서 오늘날에도 여전히 소위 공동 확률 추정 모델일 수 있습니다. 우리는 쥐의 해마를 통해 쥐가 교차로에 직면할 때 쥐의 해마가 왼쪽과 오른쪽으로 동시에 움직이는 것을 볼 수 있는데, 이는 추론에 필요한 뇌 영역 중 하나입니다. 현재 GPT 모델은 아직 이 수준이 아니기 때문에 더 나은 결정을 내리려면 GPT 모델을 더욱 최적화해야 한다고 생각합니다. 인간보다 나은 결정을 내리려면 기본 구조를 더욱 개선해야 할 수도 있습니다.

오늘날의 대형 모델은 폭넓은 지식을 갖추고 있지만, 아직까지 많은 전문 분야에서 대형 모델을 완벽하게 마스터하지 못하고 있습니다. 이러한 분야에는 공개되지 않거나 언어 형태로 존재하지 않는 데이터가 많이 있는데, 이는 민간 데이터인 상업 데이터일 수도 있고 의료 데이터일 수도 있습니다. 따라서 우리는 여전히 이 영역에서 많은 소규모 데이터 처리를 보게 될 것이며 소규모 데이터는 사라지지 않을 것입니다. 저는 이것이 매우 중요한 포인트라고 생각합니다. 그들의 관계, 아마도 대형 모델은 전반적인 문제를 처리하는 데 도움이 될 수 있지만 소규모 분야, 특히 의사 결정과 관련된 데이터 분석의 경우 많은 분야에 소규모 데이터와 폐쇄형 데이터가 존재하므로 대형 모델을 사용하여 문제를 해결할 수 없습니다. 이 문제들. 우리는 특히 대형 모델이 점점 더 좋아지고 독점 도메인에서 소형 모델을 사용하는 애플리케이션이 연구자로부터 더 많은 관심을 받을 수 있으므로 소형 모델도 주목할 가치가 있다고 믿습니다.

Zhang Weinan: 피드백 경로의 관점에서 말씀드리고 싶습니다. 피드백은 Richard Sutton이 교과서 "강화 학습"의 최첨단 부분에서 말한 것입니다. 실제로 우리는 삶 전반에 걸쳐 끊임없이 존재합니다. 환경과 상호 작용하고 우리가 인식한 정보를 기반으로 결정을 내립니다. 통제하고 피드백을 받으며 이 폐쇄 루프에서 지속적으로 학습합니다. 피드백의 경우 ChatGPT의 채팅은 실제로 몇 가지 답변을 얻지만 보상 기능도 필요합니다. 지금은 실제로 그런 것이 없으며 상태 이전에 가깝습니다. 그런데 사실 ChatGPT에서는 관련 보상 부분이 직접 주어지지 않기 때문에 ChatGPT만 훈련시키면 사실 루프의 마지막 사람의 정렬을 제외하고 나머지 부분은 지도학습 즉, 대부분의 경우 아직 피드백 형태로 학습되지 않았습니다. 이제 ChatGPT를 사용하여 Robotics용 ChatGPT와 같은 의사결정 인터페이스를 호출하면 실제로 이러한 인터페이스와 어느 정도 연결되어 올바른 결정을 내릴 수 있음을 알 수 있다고 상상할 수 있지만 이는 단지 인지 능력을 확장하고 훈련 과정에서 인터페이스를 조정하지 않고도 보상을 극대화할 수 있습니다. 피드백 체인이 닫혀 있으면 실제로 더 나은 성과를 향한 의사 결정 인텔리전스의 개발로 이어질 것입니다. 가장 중요한 점은 신중하게 설계된 보상 기능이 아니라 의사 결정 작업이 성공적으로 완료되었는지 여부를 판단하는 능력입니다. 의사결정 작업의 성공 또는 실패 신호가 ChatGPT로 피드백될 수 있다면 이는 실제로 폐쇄 루프를 형성하여 지속적인 피드백을 제공하고 의사결정 작업을 완전히 자발적으로 완료하게 됩니다.

Q&A 세션

Q1: 멀티모달 기능 구현의 관점에서 Baidu Wenxin은 Baidu 텍스트 모델, 대화 모델, 그래픽 및 텍스트 기능을 통해 서로 연결되어 있는 것으로 보입니다. 분산된 기능을 대규모 다중 모드 모델에 통합하는 방법을 설명해 주시겠습니까? 이것이 GPT4의 다중 모드 기능 구현과 어떻게 다릅니까?

Zhang Weinan: 우선 Wenxin의 디자인은 모르겠지만 매우 텍스트 기반이고 API 호출을 통해 달성되는 다중 모드 상호 작용 기능이 있다고 생각합니다. Baidu Wenxin 모델이 음성을 생성하라는 요청을 받으면 먼저 텍스트를 생성한 다음 API를 호출하여 특정 방언으로 재생할 수 있습니다. 이는 실제로 확장 기능이지만 핵심은 여전히 ​​대규모 언어 모델과 진정한 다중 모드 대규모 모델 간의 차이입니다. 그러나 이것은 단지 나의 추측일 뿐이고, 원신의 실제 깨달음이 이렇다는 것을 의미하지는 않습니다.

Q2: 앞으로는 더욱 성숙한 대형 모델과 전통적인 머신러닝, 딥러닝 등 소형 모델의 관계는 어떻게 될까요?

유양: 오늘날의 대형 모델은 폭넓은 지식을 갖추고 있지만, 많은 전문 분야에서는 대형 모델을 완벽하게 마스터할 수는 없습니다. 데이터가 공개되지 않거나 언어 기반이 아닌 분야가 여전히 많이 있습니다. 이는 상업용 데이터일 수도 있고, 개인 데이터인 의료 데이터일 수도 있으므로 이러한 분야에서는 여전히 소규모 데이터 처리가 많이 발생할 수 있습니다. . 데이터는 사라지지 않습니다. 이것이 매우 중요한 포인트라고 생각하는데, 그 관계는 어떤 모습일까요? 아마도 큰 모델이 전반적인 작업을 수행하는 데 도움이 될 수 있지만 작은 분야의 데이터 분석, 특히 의사 결정의 경우 많은 분야가 작은 데이터와 폐쇄형 데이터로 가득 차 있기 때문에 이를 해결하기 위해 큰 모델을 사용할 방법이 없다는 것을 알게 됩니다. 따라서 우리는 소형 모델도 주목할 가치가 있다고 생각합니다. 특히 대형 모델이 매우 좋아지면 더 많은 연구자들이 소형 모델을 독점 분야에 적용하는 데 관심을 갖게 될까요?

Q3: Liu씨에게 묻고 싶습니다. ChatGPT는 생성 모델이기 때문에 실제로 허위 뉴스나 논문 인용이 자주 나타나는 현상에 대해 어떻게 생각하시나요? 그리고 개선할 수 있는 점은 무엇이라고 생각하시나요? ?

Liu Qun: 사실 모델 자체는 사실과 비사실을 구별할 수 없습니다. 정의에 따르면, 사전 훈련 데이터에 나타나는 어떤 것이나 판단은 그것이 나타나지 않으면 사실이 아닌 것으로 간주될 수 있습니다. 그러나 모델이 생성될 때, 그것이 모델 매개변수가 되었다는 사실을 알지 못합니다. 모델 매개변수 출력 중 일부는 사전 훈련 데이터와 일치하고 일부는 그렇지 않은 경우가 매우 일반적입니다. 따라서 모델 자체는 구별할 수 없습니다. 하지만 이 문제가 완전히 개선이 불가능한 것은 아닙니다. GPT4가 실질적인 개선을 이룬 것으로 볼 수 있습니다. 이는 학습을 통해, 비사실을 최소화하고, 사실을 찾아내는 것입니다. 하지만 단순히 기존의 대형 모델의 신경망 방식을 사용하는 것만으로는 문제가 완전히 해결될 가능성이 낮다고 생각합니다. 따라서 우리는 문제를 해결하기 위해 여전히 다른 방법을 모색하고 외부 판단을 사용해야 합니다. 이 질문은 매우 좋은 질문입니다.

왕준: 이 질문은 사실 반대로 볼 수도 있어요. 왜죠? 소설도 좋은 것이 될 수 있습니다. 어떤 경우에는 공상과학 요소가 포함되기를 바라면서 시나 작문을 써 달라는 요청을 받기 때문에 문제가 매우 어려워집니다. 사실을 찾고자 하는 것인지, 아이디어를 구성하려는 것인지는 사실 다소 모호하며, 이를 달성하려면 목표가 필요합니다.

Q4: 뛰어난 AI 업계 대표로서 화웨이는 다음 번에 자체 ChatGPT를 개발하게 될까요? 현재 사업을 기준으로 대형 모델 또는 다중 모드 모델에는 어떤 레이아웃이 사용됩니까?

Liu Qun: 우선 화웨이는 확실히 정면으로 도전할 것입니다. 우리도 이 분야에 많은 축적을 갖고 있습니다. 구체적인 사업에 대해서는 너무 구체적으로 말씀드리기 어려울 수도 있습니다. Ren 씨의 연설에서 누군가 Ren 씨에게 ChatGPT에 관해 질문했다고 언급했는데, Ren 씨는 ChatGPT를 NLP나 NLP로 보아서는 안 된다고 말했습니다. 실제로 시각적인 문제는 큰 잠재력을 가지고 있으며, 미래에는 더 큰 잠재력이 없을 수도 있습니다. 표면적으로는 NLP 비전이나 다중 모드 문제가 결합된 것일 수 있습니다. 이는 Huawei의 다양한 비즈니스에 사용될 수 있으며, 애플리케이션의 80%는 사람들이 상상하지 못했던 일부 비즈니스에 사용될 것입니다. 저는 잠재력이 매우 크다고 생각합니다. 화웨이는 분명히 도전에 정면으로 맞서고 이 분야에서 자체 역량을 개발할 것입니다.

Q5: 신경과학의 관점에서 ChatGPT 시스템은 인간의 사고 피드백과 더 유사하게 만들기 위해 어떤 다른 방향을 시도할 수 있나요?

Li Chengyu:분명히 아주 좋은 질문이네요. 뇌과학과 내과학은 매우 다르고, 사람마다 의견이 매우 다릅니다. 제 개인적인 의견만 대변할 수 있을 뿐입니다. 앞으로는 일반 인공지능이 매우 중요한 포인트가 될 수 있을 것 같습니다. 나와 비슷한 외모, 비슷한 지능을 가진 존재가 내 옆에 서 있다면, 그 사람은 내가 문제를 해결하는 데 도움을 줄 수 있습니다. 이러한 관점에서 현재 ChatGPT는 다양한 형태를 취할 수 있습니다. 그것은 그것에 약간의 움직임을 추가할 수 있으며 지속적인 학습이 필요하고 자기 인식도 필요합니다. 자기 인식을 통해 앞서 언급한 가짜 뉴스 중 많은 부분을 해결할 수 있다고 생각합니다. 방금 언급한 윤리도 있는데, 가장 근본적인 데이터 소스부터 윤리적인 문제가 있습니다. 전 세계적으로 190개가 넘는 국가가 있기 때문에 대부분의 국가의 문화가 ChatGPT에 반영되어 있지 않기 때문에 전반적인 윤리적 관점에서 볼 때 우리 모두는 어떻게 하면 더 공정하고, 더 효과적이며, ChatGPT를 구축할 수 있는지에 대해 새로운 관점에서 생각해야 한다고 생각합니다. 더 똑똑한 몸. RLCN 학생들이 묻는 질문에는 실제로 귀납적 BIAS가 포함됩니다. 귀납적 BIAS는 제가 방금 언급한 지능, 전반적인 움직임, 안내와 관련이 있는 초기 인지 지도입니다. 이는 생존에도 중요합니다.

Q6: GPT 대형 모델이 기존 머신러닝 연구 패러다임을 전복시킬까요? 포스트빅모델 시대에도 인공지능 이론연구는 여전히 중요한가?

Liu Qun: 저는 이론가는 아니지만 이론이 중요하다고 생각합니다. 하지만 이론이 어떻게 현재의 AI가 더 나은 성능을 발휘하는 데 도움이 될 수 있을지 상상도 못했습니다. 하지만 이론이 질문에 답하는 데 도움이 되기를 바랍니다. 우리는 종종 대형 모델의 출현에 대해 이야기하지만, 모델이 더 커지면 분명히 새로운 능력이 나타날 것이라고 생각합니다. 대형모델은 보통 아이들이 크면 원래 몸무게의 10배나 불어나서 능력이 예전과 달라졌을 테니 당연한 거라고 생각해요. 그런데 다양한 능력이 발현되기 위해 필요한 모델의 크기와 데이터의 크기를 정확하게 예측할 수 있는 이론이 있을까? 나는 이것에 대해 정말로 알고 싶습니다. 그리고 새로운 기능을 갖춘 대형 모델이 어느 정도 나올 수 있습니까?

Fang Meng: GPT가 강력한 논리적 추론 능력을 보여주는 것이 가능한 미래 연구 방향이라고 생각합니다. 많이 배우고 모방하기보다는 이것이 진정한 논리적 추론 능력임을 증명하는 방법을 알고 싶습니다. 데이터의 논리적 추론. 그리고 논리적 추론 능력을 갖기 위해서는 얼마나 많은 데이터가 필요하고, 모델의 크기는 얼마나 되는지 궁금합니다. 그래서 저는 우리가 경험적인 결과를 얻을 수 있다고 생각합니다. 하지만 올바른 답을 얻으려면 이론적인 측면에서 더 많은 연구를 해야 합니다.

원 지롱: 이 질문은 꽤 좋은 것 같아요. 이제 GPT4나 다른 대형 GPT 모델은 인지 능력이나 인간과 유사한 행동을 많이 보여줍니다. 미래에도 디지털 뇌과학 같은 과학이 있을까? 이 모델 자체가 우리 연구의 대상이기 때문입니다. 대형 모델에 대한 연구 자체가 매우 의미가 있다고 생각합니다. 여기서 발견된 내용은 미래의 뇌과학이나 인지과학에 있어서 많은 중요한 시사점을 가질 수 있습니다.

Li Chengyu: GPT4에 물어보면 좋을 것 같습니다. 그 이유는 Stan Dehaene이 의식, 선택적 처리 및 감독에 두 가지 핵심 특성이 있다고 말했기 때문입니다. 입력된 정보를 선택적으로 처리하고, 두 번째는 자신의 의식을 모니터링하는 것입니다. 그렇다면 이러한 관점에서 ChatGPT 자체 또는 향후 자손이 자체 동작을 모니터링할 수 있습니까? 이는 이론적 수준에서 질문할 수 있는 사항이며, 이 기능을 생성하기 위해 새로운 프레임워크나 네트워크 구조를 구축할 수도 있습니다. 이러한 관점에서 볼 때 이론적 프레임워크는 차세대 인공 지능을 구축하는 데 도움이 될 수 있습니다.

왕준: 그렇습니다. 능력의 경계를 아는 것은 관심만이 아닙니다. 예를 들어, Transformer의 현재 아키텍처 기능의 경계는 어디에 있습니까? 무엇을 할 수 있고 무엇을 할 수 없나요? 작업 기억이 있나요? 피드백 기능의 경계는 어디입니까? 어떤 것들은 나타날 수 있고 어떤 것들은 나타날 수 없습니다. 실제로 이러한 연구를 위해서는 매우 견고한 이론적 기초가 필요합니다. Induction BIAS에 대한 사전 지식도 있습니다. 우선 Transformer 자체의 설계도 사전 지식 없이 할 수 있을까요? 이러한 문제는 이론적 연구가 절실히 필요하다고 생각합니다. 지침이 없으면 모두가 머리 없는 파리가 될 것입니다.

위 내용은 왕준 교수는 AI 학자 7명을 조직해 ChatGPT 이후 일반 인공지능의 이론과 응용에 대해 논의했다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!