Die Popularität von ChatGPT hat erneut die Aufmerksamkeit der Menschen auf künstliche Intelligenz geweckt. Wie wird sich künstliche Intelligenz nach ChatGPT entwickeln? Die Branche und OpenAI, die Muttergesellschaft von ChatGPT, glauben, dass AGI in Zukunft die Entwicklungsrichtung der künstlichen Intelligenz sein wird.
An welchen Aspekten kann die theoretische Forschung und Anwendungspraxis von AGI ansetzen? [ChatGPT und Large Model Spring Course] Die letzte Themendiskussion beantwortete diese Frage. Wissenschaftler und Experten von UCL, Renmin University of China, Huawei, Tsinghua, Chinese Academy of Sciences, Shanghai Jiao Tong University, Nanjing University und University of Liverpool kamen zusammen um „Allgemeine künstliche Intelligenz nach ChatGPT“ zu diskutieren, Intelligenztheorie und -anwendungen“.
Im Folgenden finden Sie eine Zusammenfassung der Höhepunkte der Diskussionsrunde.
Thema 1: Wir haben uns schon immer nach allgemeiner künstlicher Intelligenz gesehnt, ohne die Notwendigkeit, Algorithmen zu entwerfen, um Maschinen für Aufgaben zu trainieren. Bietet uns ChatGPT eine solche Möglichkeit? Ist es in den letzten Jahren möglich, einen solchen Traum zu verwirklichen?
Liu Qun: Zuerst war ich ein wenig angewidert von dem Begriff „allgemeine künstliche Intelligenz“. „Ja, weil ich verstehe, dass dies eher eine Science-Fiction-Aussage ist und sich unzuverlässig anfühlt. Daher habe ich bisher nur ungern Fragen zu diesem Konzept beantwortet. Aber in letzter Zeit scheint es, dass dieser Begriff durchaus vernünftig ist. Es handelt sich nicht um Science-Fiction-Modelle, die immer allgemeiner werden. Früher konnte ChatGPT grundsätzlich alle Arten von Problemen bewältigen Intelligenz ist durchaus angemessen.
Ich wage nicht zu beurteilen, ob allgemeine künstliche Intelligenz realisiert wird, aber bis zu einem gewissen Grad wurde die allgemeine Verarbeitung natürlicher Sprache realisiert. Im Bereich der natürlichen Sprache ist es sehr kompliziert, jedes kleine Problem zu lösen, wie z. B. maschinelle Übersetzung, Stimmungsanalyse und chinesische Wortsegmentierung. Es umfasst immer alles, da Wörter Texte und Symbole sind. Um eine kleine Richtung gut zu machen, müssen Sie das gesamte Sprachsystem verstehen. Daher ist die Sprachfunktionsimplementierung von ChatGPT sehr leistungsfähig, insbesondere ihre Diskursfähigkeit. Weil der Diskurs ein sehr tiefgreifendes und schwieriges Problem in der natürlichen Sprache ist. ChatGPT hat die Diskursstruktur im menschlichen Kommunikationsprozess sehr gut erlernt, einschließlich der Routinen und des Vokabulars beim Schreiben von Artikeln. Dies ist eine sehr abstrakte Art der Logik und Organisation von Artikeln. Einige aktuelle Beispiele sind, dass es die menschliche Sprache simulieren und eine bestimmte Rolle übernehmen kann. Es handelt sich um einen Stapel, der wie ChatGPT sehr gut zum Wechseln von Themen geeignet ist Durcheinander.
Wang Jun: Wenn man es aus der Perspektive des maschinellen Lernens betrachtet, ist die objektive Gleichung sehr einfach Verstehen Sie die ersten paar Wörter. Zweitens: Ist die Antwort auf diesen Satz der einer Person ähnlich? Diese beiden sehr einfachen Ziele: Warum kann er etwas lernen, das den Eindruck erweckt, dass es im Voraus viel Logik und Design erfordert?
Liu Qun: Um das Ziel zu erreichen, ist ein gutes Verständnis des verwendeten komplexen Wissens erforderlich Je einfacher es ist, vorherzusagen, desto besser. Obwohl das Ziel einfach ist, können die Mittel, um es zu erreichen, unendlich komplex sein. Um es gut zu machen, braucht man also sehr leistungsfähige Modelle und viele Daten.
Huang Minlie: In der Vergangenheit trauten sich die Menschen in China im Allgemeinen nicht, über das Konzept der AGI zu sprechen, und sogar darüber Die Definition von AGI war nicht klar. Deshalb scherzen wir manchmal, dass chinesische Wissenschaftler es nicht wagen, zu träumen, denn wenn sie über AGI sprechen, werden sie zu Tode gesprüht. Ausländische Wissenschaftler sind in der Tat sehr sentimental. Ein Professor am MIT nutzte beispielsweise 1966 ein KI-Dialogsystem, um einen Chat-Roboter und einen Psychotherapie-Roboter zu entwickeln. Ich denke, das ist eine sehr schwierige Sache lohnt es sich, von uns zu lernen.
Zurück zur Frage: Wie weit sind wir jetzt von AGI entfernt? Ich denke, es ist im Großen und Ganzen noch weit entfernt von dem Grad an Intelligenz, den ChatGPT derzeit verkörpert. AGI befindet sich noch in der Entwicklung, aber Dinge, an die wir nicht zu denken wagen, nehmen bereits Gestalt an. Ich denke, es wäre vielleicht besser, es anders auszudrücken: Lassen Sie uns nicht darüber diskutieren, ob es die Fähigkeit hat, AGI im weitesten Sinne zu erreichen, denn im weitesten Sinne verfügen wir möglicherweise auch über verschiedene unabhängige Denk- und Generalisierungsfähigkeiten Heute ist bekannt, dass ihr Gesamtintelligenzniveau tatsächlich über dem liegt, was jede frühere KI erreichen kann. Auch der technische Weg ist ganz anders. Die von IBM Watson entwickelte DeepQA-Technologie ist völlig traditionell und klassisch. Diese Verständnisroutine der semantischen Analyse besteht darin, die Grammatik und syntaktische Struktur eines Satzes sehr klar zu analysieren. Sie stellt eine andere Schule des akademischen Denkens dar.
Aber heute geht es bei ChatGPT nicht nur um Daten, sondern auch um die Macht, die Daten und Modelle verkörpern, sowie um die Fähigkeit des Modells selbst, sich zu entfalten. Ich denke also, dass es der richtige Weg zur AGI in der Zukunft ist? Verschiedene Menschen haben unterschiedliche Meinungen. Ich denke, es ist eine Richtung, die es wert ist, ausprobiert zu werden, aber es ist nicht die einzige Richtung. Dies ist einer meiner Hauptpunkte: Die Art und Weise, wie es gelernt wird, ist nicht ausschließlich die gewalttätige Ästhetik von Daten plus Modell. Es spiegelt immer noch das Design vieler Modellalgorithmen wider, insbesondere die Ausrichtung auf menschliche Daten. Viele Details von OpenAI wurden nicht bekannt gegeben, aber ich vermute, dass darin eine Menge ausgefeilter Datenverarbeitung steckt. Was Sie jetzt sehen, scheint lediglich ein Einstieg in die Datenverarbeitung zu sein, aber in Wirklichkeit ist es möglicherweise nicht so einfach.
Fang Meng: ChatGPT ist in der Tat sehr leistungsfähig. Ich habe es kürzlich gebeten, Code zu schreiben, und den Code, den es geschrieben hat, zum Ausführen verwendet Ich habe direkt festgestellt, dass es sich um einen Fehler handelt. Ich habe die Fehlerinformationen direkt kopiert und ChatGPT damit beauftragen, mir eine Funktion und einen Code zu empfehlen. Aber diese Funktion wurde im Versionsupdate als veraltet markiert. Ich habe das Update basierend auf der empfohlenen Funktion schnell gefunden und mein Problem gelöst. Ich denke, eigentlich lernt der Durchschnittsmensch nicht, speziell zu programmieren, aber wir müssen kommunizieren. Und ChatGPT bewältigt viele NLP-Aufgaben sehr gut, berücksichtigt fast die meisten NLP-Aufgaben und scheint eine universelle KI zu sein. Allerdings wird das von OpenAI veröffentlichte Modell auf Basis von Daten vor 2021 erlernt und kann mit neuen Erkenntnissen nicht umgehen. Aus reiner NLP-Perspektive scheint es sich tatsächlich um ein AGI-Modell zu handeln, das die meisten NLP-Forschungsprobleme bewältigen kann. In Zukunft wird unsere wissenschaftliche Forschung zu NLP sicherlich viele neue Fragen aufwerfen und neue Dinge erforschen. Was wäre, wenn ChatGPT eines Tages etwas Ähnliches tun und selbst neue Probleme schaffen könnte, anstatt sich mit bestehenden zu befassen? Ich glaube, dass dies der allgemeinen künstlichen Intelligenz näher kommen könnte, da sie selbst neue Dinge erzeugen kann. Ich denke, die Fähigkeiten, die er jetzt erworben hat, basieren immer noch auf den riesigen Datenmengen der Vergangenheit. Sein Modelltraining verfügt über große Rechenleistung und ausgefeilte Technik. Aber es kann nur eine Möglichkeit sein, und es kann auch andere Möglichkeiten geben. Wir können also auch andere Wege erkunden.
Darüber hinaus denke ich auch über eine andere Frage nach: Wenn wir es die Daten von 2022 lernen lassen, wie lange brauchen wir, um es zu trainieren? Ist es möglich, wie ein Mensch zu lernen? Oder ist es besser, schneller zu lernen? Dies könnte auch einer der Kernpunkte der allgemeinen künstlichen Intelligenz sein. Die öffentlich verfügbaren Modelle von OpenAI sind noch nicht auf diesem Niveau, aber sie sind tatsächlich leistungsstark und dies ist ein wichtiger Schritt nach vorne.
Thema 2: Was sind die Mängel von ChatGPT? Welche Aspekte können aus Sicht des maschinellen Lernens verbessert werden, um das zu erreichen, was wir wollen? Oder wo liegen die Grenzen seiner Möglichkeiten?
Wen Jirong: Es gibt offensichtlich einige Mängel. Erstens ist das Wissen von ChatGPT nicht in Echtzeit verfügbar. Das Sprachmodell lernt sowohl Wissen als auch Fähigkeiten aus massiven Daten. Beides ist einheitlich und kann wie das menschliche Gehirn ausgedrückt werden. Dieses Wissen wurde jedoch während des Trainings korrigiert, sodass es Situationen geben wird, in denen neue Daten nach September 2021 zum Lernen eingegeben werden. Das Hinzufügen neuer Dinge erfordert eine Umschulung, was sehr kostspielig ist und derzeit grundsätzlich nicht machbar ist. Daher wurden ChatGPT und Bing integriert, um Suchergebnisse und Content-Generierung auf Basis der neuesten Netzwerkdaten zu kombinieren. Nach der Kombination kann es eine gute Lösung für die Echtzeit- und Korrektheitsprobleme von ChatGPT-Wissen sein. Aber ich persönlich denke, dass diese Angelegenheit noch am Anfang steht und einer eingehenden Untersuchung würdig ist. Die Daten im großen Modell sind statisch und das gesamte Internet- oder externe Wissen ist dynamisch. Wie kann das interne Wissen des Modells mit dem externen Wissen kombiniert werden, um Ergebnisse zu generieren? Auf diese Frage gibt es noch keine gute Antwort, aber wenn sie gut gemacht wird, wird sie von großer Bedeutung sein. Da wir das Modell nicht immer neu trainieren können, benötigen wir ein stabiles Basismodell, das kombiniert werden kann, um die Generierungs- oder Inferenzarbeit abzuschließen, wenn dynamischere Daten oder professionelles Domänenwissen eingehen. Zweitens arbeite ich seit mehr als zwei Jahren an großen multimodalen Modellen. Wie Sie sehen, verfügt GPT-4 bereits über einige multimodale Modelle, was beeindruckend ist. Ich denke, wir müssen in Zukunft weiter untersuchen, wie mehrere Modalitäten bei der Generierung und Argumentation gut zusammenarbeiten können. Daran muss noch gearbeitet werden. Drittens denke ich, dass das größte Problem bei großen Modellen derzeit darin besteht, dass sie zu teuer sind. Es wird gesagt, dass nur Zehn-Milliarden-Maßstäbe möglich sind. Diese Angelegenheit hat der Wissenschaft tatsächlich den Weg versperrt Forschungsgemeinschaft. Wenn wir kein Modell der Größenordnung von ChatGPT haben, können wir dann keine Forschung betreiben? Wenn es uns in Zukunft nicht gelingt, mit moderaten Modellen relativ hohe Fähigkeiten oder Leistungen zu erreichen, wird unsere nachfolgende wissenschaftliche Forschung sehr schwierig sein. Der NLP-Bereich wurde in letzter Zeit stark beeinträchtigt. Tatsächlich ist es auch sinnlos, traditionelle Ranking-Arbeiten durchzuführen. Da es sich bei Bing nun um eine Konversationssuche handelt, werden in Kürze Konversationsempfehlungen verfügbar sein. Bevor Sie es merken, wird das Abrufen von Informationen möglicherweise als Informationsgenerierung bezeichnet und das Feld muss möglicherweise umbenannt werden. Jetzt findet ein grundlegender Wandel statt. Es ist zu hoffen, dass es in Zukunft einige Durchbrüche in der Forschungsplattform geben wird. Es ist sehr wichtig, die Modellfähigkeiten des heutigen ChatGPT oder GPT-4 in einem Modell in begrenztem Maßstab darzustellen.
Wang Jun: Ich würde gerne eine der Lösungen einführen. Open Source in der Wissenschaft ist möglicherweise der einzige Weg. Wenn ein großes Modell Open Source ist, trainiert es das Modell möglicherweise zumindest vorab, und dann können wir es anpassen oder wissenschaftliche Forschung in diese Richtung betreiben. Die Industrie entwickelt die Architektur und Open Source treibt ihre stärkere Nutzung voran. Hier sind ein paar Fragen an Lehrer Li. Obwohl ChatGPT immer noch einige Mängel aufweist, was denkt Lehrer Li über den Sprung von der Erforschung des menschlichen Gehirns zur künstlichen Intelligenz? Wann werden wir den Punkt erreichen, an dem die sogenannte KI den Menschen übertrifft?
Li Chengyu: Als ich gerade den Vortrag hörte, dachte ich am meisten an „Evolution“. Da künstliche Intelligenz in den 1960er Jahren begann, hat sie sich sehr schnell weiterentwickelt und ist ein exponentieller Evolutionsprozess. Wir haben gerade AGI erwähnt. Tatsächlich existiert es bereits im menschlichen Gehirn. Es ist eine physische Einheit und ein großes Netzwerk, das viele Dinge tun kann, also haben die Menschen selbst AGI. Unser Gehirn selbst ist ein Netzwerk mit allgemeinen Fähigkeiten, daher kann es theoretisch, egal ob es sich um ein biologisches oder künstliches neuronales Netzwerk handelt, viele Dinge tun. Aufgrund des explosiven exponentiellen Wachstums der künstlichen Intelligenz sind revolutionäre Entwicklungen wie GPT4 entstanden, die analog zur Entwicklung des menschlichen biologischen Gehirns sind. Das menschliche Gehirn verfügt im Verhältnis zum Körper über die meisten Gehirne aller Lebewesen. Mittlerweile verfügt das Gehirn einer Maus über etwa 70 Millionen Neuronen, das Gehirn eines Affen über etwa 6 Milliarden und das menschliche Gehirn über etwa 80 bis 100 Milliarden. Auch dies ist ein exponentielles Wachstum. Aus dieser Perspektive ist die Revolution in der GPT-Entwicklung sehr aufregend. Ich persönlich betrachte dies als eine sehr wichtige Gelegenheit, die es denjenigen von uns, die sich mit Neuro- und Gehirnwissenschaften beschäftigen, ermöglicht, über die Beziehung zwischen biologischen Gehirnen und künstlichen Gehirnen nachzudenken.
Außerdem gibt es aus Sicht des Gehirnmechanismus meiner Meinung nach viele interessante Dinge zu besprechen. Ich habe gerade das Problem erwähnt, dass große Modelle nach Ende 2021 kein kontinuierliches Lernen mehr durchführen können. Aber unser menschliches Gehirn ist offensichtlich in der Lage, kontinuierlich zu lernen, und wir werden nicht nach einem bestimmten Zeitpunkt mit dem Lernen aufhören. Interessant ist jedoch, dass es einige Gehirngewebe und Bereiche in unserem Gehirn gibt, die diese Fähigkeit steuern. Ein Beispiel ist der Fall des Hippocampus H.M. Nachdem Ärzte einem Epilepsiepatienten den Hippocampus entfernt hatten, stoppte sein Langzeitgedächtnis im Moment der Operation und er konnte danach keine neuen Fakten mehr lernen. Dieses Beispiel ähnelt in gewisser Weise dem Problem, das wir jetzt diskutieren. Die kontinuierliche Lernfähigkeit großer Modelle ist möglicherweise nicht von biologischen Gehirnen übernommen, daher denke ich, dass dies eine Chance ist. Die Neurowissenschaften sollten mehr mit Ihnen kommunizieren, um herauszufinden, wie sie den Mechanismus der kontinuierlichen Lernfähigkeit biologischer Gehirne extrahieren können, um bei der Entwicklung neuer neuronaler Netzwerke mit künstlicher Intelligenz zu helfen. Ich denke, dass dies ein Prozess der Koevolution ist, und dieser Prozess wird uns auch helfen zu verstehen, wie das biologische Gehirn kontinuierliches Lernen erreicht. Früher hielten wir das nicht für wichtig, aber jetzt sehe ich es als etwas Wichtiges an, das es uns ermöglicht, uns weiterhin neuen Herausforderungen zu stellen.
Wir betreiben derzeit Kartenforschung. Wir müssen verstehen, welche Arten von Zellen es im Gehirn gibt und wie die Zellen miteinander verbunden sind. Aber das KI-Netzwerk ist sehr klar über die Verbindung zwischen den einzelnen Neuronen, daher arbeiten wir im aktuellen Forschungsprozess mit Forschungseinrichtungen wie BGI und der Huazhong Agricultural University zusammen und haben herausgefunden, dass während der Evolution verschiedener Arten der Hippocampus von Sechs Arten haben sich stark verändert, es tauchen viele neue Arten von Neuronen auf und es gibt viele neue Gehirnbereiche. Im Hippocampus sind viele neue Unterregionen entstanden. Wir haben Schildkröten, Vögel, Mäuse, Affen und Menschen untersucht. Dabei nehmen die Verhaltensfähigkeiten des Menschen weiter zu. Ich denke also, dass die Komplexität und Fähigkeit dieses Verhaltens mit der Entstehung neuer Zellen im Hippocampus korrespondiert. Wir lernen etwas über diese neuen Zellen.
Ich möchte darüber sprechen, was wir in Zukunft tun können. Ich habe das Gefühl, dass es hier viel zu tun gibt. Wir ändern auch die Richtung unserer Forschung. Jetzt denke ich, dass wir einige Prinzipien aus der Forschung an Mäusen und Affen extrahieren und auf das menschliche Gehirn übertragen können, das komplexere Funktionen bei geringem Stromverbrauch realisieren kann. Obwohl Ke Jie AlphaGo im Schach nicht schlagen kann, muss Ke Jie jeden Tag nur ein paar Brote und Dampfbrötchen essen. Der Energieverbrauch ist extrem gering, und die Anforderungen an intelligente Agenten werden auch in diese Richtung gehen, aber der Chat mit künstlicher Intelligenz kann GPT nicht Dieses Problem muss jedoch in Zukunft von lebenden Organismen gelöst werden, um eine physische Intelligenz mit geringerem Energieverbrauch zu erzeugen.
In Zukunft ist es notwendig, Wahrnehmung, Kognition und Bewegung zu integrieren. Nun ist diese Form nicht sehr in der Lage, einen Roboter so zu steuern, dass er herumläuft, aber ich denke, dass es in Zukunft möglich sein könnte, das Gebiet zumindest zu lösen der Wahrnehmung. Wir verstehen Chat GPT oder GPT4, um kognitive Probleme zu lösen, und in Zukunft wird es mit der Bewegungssteuerung verbunden sein. Ich weiß, dass sich viele bewegungsgesteuerte Roboterhände und Roboterarme, die auf Transformatoren basieren, ständig weiterentwickeln. Wenn Wahrnehmung, Kognition und Bewegung in einem integriert werden, kann jedes einzelne Modul integriert werden. Wie alle erwähnten, ist die bereichsübergreifende Integration meiner Meinung nach ein sehr wichtiger Punkt für die Zukunft. Ich hoffe, dass die Hirnforschung im Zuge der Entwicklung der künstlichen Intelligenz mit allen zusammenarbeiten kann, um interessantere Dinge zu tun.
Wang Jun: Ich möchte Herrn Li fragen. Das menschliche Gehirn ist so komplex und hat sich über so viele Jahre entwickelt, aber das Gehirn hat keine Belohnungsfunktion und keine induktive BIAS. Aber wenn wir maschinelles Lernen betreiben, müssen wir ihm bestimmte Vorkenntnisse oder Annahmen vermitteln. Ohne Vorkenntnisse oder Annahmen kann es keine Vorhersagen treffen. Obwohl es sich beim maschinellen Lernen um allgemeine künstliche Intelligenz handelt, konnten wir diese beiden Prämissen noch nicht beseitigen. Aber wenn wir uns das menschliche Gehirn ansehen, gibt es keinen Belohnungsmechanismus und kein Vorwissen. Wie kann es die aktuelle Weisheit erzeugen? ? Doch die aktuelle Technologie kann dies nicht leisten. Was denkt Lehrer Li? Was denken KI-Experten? Sind Belohnungsmechanismen und Vorkenntnisse erforderlich?
Li Chengyu:Lassen Sie mich damit beginnen, etwas Licht auf die Dinge zu werfen. Erstens, ob es im Evolutionsprozess einen Belohnungsmechanismus gibt, glaube ich, dass mehr als 99 % aller Lebewesen ausgestorben sind Sichtweise, Arten und Individuen Alle verfügen über Belohnungsmechanismen. Jeder hat Belohnungen und Strafen, und diese Prozesse können die Struktur und Funktion unseres Gehirns verändern. Deshalb denke ich, dass es in der biologischen Evolution Belohnungen geben muss. Die zweite ist die BIAS, die Sie gerade erwähnt haben. Auch lebende Organismen haben eine BIAS, zum Beispiel die Grundprinzipien der Physik, die beim Loslassen entstehen Wenn wir geboren werden, hat das neuronale Netzwerk eine langfristige Entwicklung durchlaufen, und es gibt eine gewisse Voreingenommenheit für die äußere Physik und das menschliche Sozialverhalten, einschließlich des Interesses an bestimmten Gesichtern. Maschinelles Lernen ist anders. Es erfordert, dass Menschen ihre Perspektive von außen ändern und künstliche Intelligenz mit verschiedenen Agenten spielen lassen. Sie erzeugen eine eigene Generation, und die vorherige Generation kann als BIAS verwendet werden. Ich denke, das scheint unvermeidlich zu sein. Wenn sich ein Individuum immer in einem bestimmten Aufgabenzustand befindet, wird es sich meiner Meinung nach auf einer bestimmten Flugbahn zwischen konkurrierenden Arten vorwärtsbewegen, und diese Flugbahn wird von physischen Einheiten umrahmt. Dieses Framework muss sich auf seine bestehenden Grenzen verlassen. Nur mit BIAS kann es schneller gewinnen.
Wang Jun: Ich würde gerne fragen, ob KI die Fähigkeit hat, sich selbst zu steuern, wann sie ein Selbstverständnis haben, sich selbstständig entwickeln und sogar bewusst werden wird. Dieses Bewusstsein gibt es nur beim Menschen. Ist es bewusst und kann es die Gedanken anderer Menschen kennen? Selbst in einem Textformular wird die Sache nicht unbedingt zu 100 % erfasst. Ich weiß nicht, was jeder darüber denkt. Wenn AGI kein Selbst und kein Bewusstsein hat, hat es dann eine Belohnungsfunktion, die ihm von außen gegeben wird, oder kann es diese von selbst erzeugen?
Liu Qun:Lassen Sie mich etwas über mein Verständnis erklären. Gerade sagte Lehrer Li, dass das Überleben die ultimative Belohnung ist. Tatsächlich ist die ultimative Belohnung des Menschen das Überleben, und sein einziger Zweck besteht darin, zu überleben. Aber in unserem Leben werde ich das Gefühl haben, dass wir nicht alles tun, um zu überleben, sondern dass dies alles eine Art Überlebensdruck ist, der sich schließlich in verwandelt. Eine andere Ausdrucksform sind Belohnungen. Es sieht nicht so aus, als ob es ums Leben geht, aber in Wirklichkeit geht es ums Überleben. Daher glaube ich, dass es für die aktuelle KI schwierig ist, eine Selbstentwicklung zu erzeugen, da sie keinen Überlebensdruck hat. Angenommen, Sie stellen es in die Wildnis und begrenzen die Rechenleistung. Wenn Sie keine Umgebung schaffen, in der es alleine mithalten kann, können Sie vielleicht eines Tages die Stromkabel anderer Leute abtrennen und Ihr eigenes schützen.
Li Chengyu: Das Problem des Bewusstseins ist offensichtlich ein sehr wichtiges, aber ungelöstes Problem, aber es ist derzeit nicht undurchsuchbar. Es gibt viele interessante Forschungsmethoden im Bereich des Bewusstseins Visuelle Stimulation berichtet, dass sie manchmal sehen kann, manchmal unsichtbar, es kann davon ausgegangen werden, dass das Bewusstsein nicht meldet, dass es zu diesem Zeitpunkt einen großen Unterschied in den Aktivitäten im Gehirn gibt. Vielleicht kann diese Art von Spiel verwendet werden, um chatGPT oder andere Netzwerke für künstliche Intelligenz zu testen, um zu testen, ob sie eine menschenähnliche Bewusstseinsleistung haben. Es gibt tatsächlich viele Debatten in diesem Bereich, und es gibt derzeit definitiv keine Antworten. Ich denke, wir können zusammenarbeiten, weil wir auf diesem Gebiet biologische Forschung betreiben können. Geben Sie dem Affen 50 % sichtbare und 50 % unsichtbare Reize, beobachten Sie seine Gehirnaktivität und vergleichen Sie sie mit dem KI-Netzwerk.
Thema 3: Entscheidungsintelligenz: Unser aktueller Roboter kann sehen und lesen, aber er kann nicht laufen. Wie können wir ihn zum Laufen bringen?
Yu Yang: ChatGPT oder der jüngste Ausbruch von GPT, obwohl ich im Bereich der Entscheidungsfindung durch Verstärkungslernen tätig bin, fühle ich mich auch sehr berührt. In diesem Bereich werden auch einige groß angelegte Modellforschungen durchgeführt. Aber glücklicherweise gibt es kein Modell, das Reinforcement Learning ersetzen oder zerstören kann. Dies zeigt auch, dass zwischen dem bestehenden GPT-Modell und der menschlichen biologischen Intelligenz immer noch eine große Lücke besteht. Insbesondere fehlt ChatGPT der Weltmodellteil. Im aktuellen GPT-Modell gibt es keinen Arbeitsspeicher, sondern nur Kontext- und Eingabeaufforderungseingaben. Bei der Untersuchung des verstärkenden Lernens haben wir herausgefunden, dass dieser Kontext über eine gewisse Gedächtnisfähigkeit verfügt, das heißt, er kann vergangene Handlungen, ihre Ergebnisse und die Reaktion der Welt erkennen und sich daran erinnern. Diese Gedächtnisfähigkeit ist jedoch möglicherweise nicht stark, da es sich nur um eine lineare Sequenz handelt und es keinen speziellen Ort zum Speichern gibt. Dies unterscheidet sich von dem, was Lehrer Li zuvor erwähnte, dass der Hippocampus in lebenden Organismen für unser Kurzzeitgedächtnis sehr wichtig ist. Kürzlich haben wir auch Artikel zur Biologie gelesen und festgestellt, dass es viele interessante Inhalte gibt. Zwischen dem Hippocampus und dem Weltmodell besteht eine sehr enge Verbindung, beim GPT-Modell ist dies jedoch nicht der Fall. GPT-Modelle träumen nicht. Wir sehen, dass, wenn eine Maus träumt, ihr Hippocampus wiederholt, was ihr tagsüber begegnet ist, was eigentlich eine sehr typische Manifestation des Weltmodells ist. Der Körper der Maus bewegte sich nicht, wohl aber ihr Gehirn. Alle Daten, die es sieht, werden in seinem Gehirn wiedergegeben und entsprechend den Visualisierungsergebnissen nicht in chronologischer Reihenfolge, sondern in umgekehrter Reihenfolge vom Ende zum Startpunkt angeordnet. Dies ähnelt der Datenwiedergabe beim Reinforcement Learning. Das Gedächtnis ist sehr ähnlich. Daher ist das aktuelle GPT-Modell aus dieser Perspektive funktional nicht vollständig genug. Vereinfacht ausgedrückt handelt es sich heute möglicherweise immer noch nur um ein sogenanntes gemeinsames Wahrscheinlichkeitsschätzungsmodell. Wir sehen am Hippocampus der Ratte, dass sich ihr Hippocampus gleichzeitig nach links und rechts bewegt, wenn die Ratte vor einer Kreuzung steht, was einer der Gehirnbereiche ist, die sie zum Denken benötigt. Das aktuelle GPT-Modell ist noch nicht auf diesem Niveau, daher glaube ich, dass das GPT-Modell weiter optimiert werden muss, um bessere Entscheidungen treffen zu können. Wenn es hofft, bessere als menschliche Entscheidungen zu treffen, sind möglicherweise weitere Verbesserungen in der zugrunde liegenden Struktur erforderlich.
Obwohl die heutigen Großmodelle über ein breites Wissensspektrum verfügen, sind Großmodelle in vielen Berufsfeldern noch nicht vollständig beherrscht. In diesen Bereichen gibt es viele Daten, die nicht öffentlich sind oder nicht in sprachlicher Form vorliegen. Dabei kann es sich um kommerzielle Daten oder medizinische Daten handeln, bei denen es sich um private Daten handelt. Wir werden also in diesen Bereichen immer noch viele kleine Datenmengen verarbeiten, kleine Datenmengen werden nicht verschwinden. Ich denke, das ist ein sehr wichtiger Punkt. Ihre Beziehung, vielleicht können große Modelle uns bei der Bewältigung allgemeiner Probleme helfen, aber für die Datenanalyse in kleinen Bereichen, insbesondere solchen mit Entscheidungsfindung, stellen wir fest, dass in vielen Bereichen kleine Daten und geschlossene Daten vorhanden sind, sodass wir keine großen Modelle zur Lösung verwenden können diese Probleme. Wir glauben, dass auch kleine Modelle Aufmerksamkeit verdienen, insbesondere da große Modelle immer besser werden und Anwendungen, die kleine Modelle in proprietären Domänen verwenden, möglicherweise mehr Aufmerksamkeit von Forschern erhalten.
Zhang Weinan: Aus der Perspektive des Feedback-Pfads möchte ich sagen: Feedback ist das, was Richard Sutton im neuesten Teil des Lehrbuchs „Reinforcement Learning“ gesagt hat Mit der Umgebung interagieren, Entscheidungen auf der Grundlage der von uns wahrgenommenen Informationen treffen. Übernehmen Sie die Kontrolle, erhalten Sie Feedback und lernen Sie kontinuierlich in diesem geschlossenen Kreislauf. Für Feedback erhält der Chat in ChatGPT tatsächlich einige Antworten, benötigt aber auch eine Belohnungsfunktion. So etwas haben wir jetzt eigentlich nicht, es ist eher eine staatliche Übertragung. Tatsächlich wird der relevante Belohnungsteil jedoch nicht direkt in ChatGPT bereitgestellt. Wenn Sie also nur ChatGPT trainieren, handelt es sich in den meisten Fällen tatsächlich um überwachtes Lernen, mit Ausnahme der Ausrichtung der letzten Person in der Schleife Es hat noch nichts in Form von Feedback gelernt. Man kann sich vorstellen, dass, wenn ChatGPT jetzt zum Aufrufen von Entscheidungsschnittstellen wie ChatGPT für Robotik verwendet wird, festgestellt werden kann, dass es tatsächlich bis zu einem gewissen Grad mit diesen Schnittstellen verbunden ist und korrekte Entscheidungen treffen kann, dies ist jedoch nur eine Erweiterung der kognitiven Fähigkeiten und die Belohnung kann maximiert werden, ohne die Schnittstelle während des Trainingsprozesses anzupassen. Wenn die Feedbackkette geschlossen ist, führt dies tatsächlich zur Entwicklung von Entscheidungsintelligenz hin zu einer besseren Leistung. Der kritischste Punkt ist nicht unbedingt eine sorgfältig gestaltete Belohnungsfunktion, sondern ihre Fähigkeit festzustellen, ob die Entscheidungsaufgabe erfolgreich abgeschlossen wurde. Wenn das Signal über Erfolg oder Misserfolg der Entscheidungsaufgabe an ChatGPT zurückgemeldet werden kann, bildet dies tatsächlich einen geschlossenen Regelkreis, um kontinuierliches Feedback zu geben und die Entscheidungsaufgabe völlig spontan abzuschließen.
Q & A-Sitzung
F1: Aus der Perspektive der Realisierung multimodaler Fähigkeiten scheint Baidu Wenxin durch Baidu-Text zu erfolgen Modell: Das Dialogmodell sowie die Grafik- und Textfunktionen werden zusammengefügt. Könnten Sie bitte erklären, wie man verstreute Funktionen in ein großes multimodales Modell integriert? Wie unterscheidet sich dies von der Implementierung multimodaler Funktionen durch GPT4?
Zhang Weinan: Zuerst einmal kenne ich das Design hinter Wenxin nicht, aber Meiner Meinung nach ist es den textbasierten multimodalen Interaktionsmöglichkeiten, die durch den Aufruf von APIs erreicht werden, sehr ähnlich. Wenn das Baidu Wenxin-Modell aufgefordert wird, eine Rede zu generieren, generiert es möglicherweise zunächst Text und ruft dann die API auf, um ihn in einem bestimmten Dialekt abzuspielen. Dies ist eigentlich eine Erweiterungsfunktion, aber der Kern ist immer noch der Unterschied zwischen einem großen Sprachmodell und einem echten multimodalen großen Modell. Aber das ist nur meine Vermutung und bedeutet nicht, dass Wen Xins wirkliche Erkenntnis so ist.
F2: Wie wird die Beziehung zwischen ausgereifteren großen Modellen und traditionellem maschinellem Lernen, Deep Learning und anderen kleinen Modellen in der Zukunft sein? ?
Yu Yang: Obwohl die heutigen großen Modelle über ein sehr breites Wissensspektrum verfügen, ist in vielen In Im professionellen Bereich sind große Modelle noch nicht vollständig zu beherrschen. Es gibt immer noch viele Bereiche, in denen die Daten nicht öffentlich sind oder nicht sprachbasiert sind. Es kann sich dabei um kommerzielle Daten oder medizinische Daten handeln, bei denen es sich um private Daten handelt . Die Daten verschwinden nicht. Ich denke, das ist ein sehr wichtiger Punkt. Wie wird seine Beziehung aussehen? Vielleicht können uns große Modelle dabei helfen, allgemeine Dinge zu erledigen, aber bei der Datenanalyse in kleinen Bereichen, insbesondere bei der Entscheidungsfindung, stellen wir fest, dass viele Felder voller kleiner Daten und geschlossener Daten sind, sodass es keine Möglichkeit gibt, große Modelle zur Lösung zu verwenden. Daher sind wir der Meinung, dass auch kleine Modelle Aufmerksamkeit verdienen, insbesondere wenn große Modelle gut werden. Werden mehr Forscher der Anwendung kleiner Modelle in proprietären Bereichen Aufmerksamkeit schenken?
F3: Ich möchte Lehrer Liu fragen, da ChatGPT ein generatives Modell ist, tauchen in der Praxis häufig fiktive Nachrichten oder Papierzitate auf . Was halten Sie von diesem Phänomen und was kann Ihrer Meinung nach verbessert werden?
Liu Qun: Tatsächlich ist das Modell selbst nicht in der Lage, zwischen Fakten zu unterscheiden und Nicht-Fakten. Per Definition kann davon ausgegangen werden, dass etwas oder ein Urteil, das in den Daten vor dem Training erscheint, eine Tatsache ist. Wenn es nicht erscheint, ist es keine Tatsache. Wenn das Modell jedoch generiert wird, weiß es nicht, dass sie zu Modellparametern geworden sind. Es kommt sehr häufig vor, dass einige der ausgegebenen Modellparameter mit den Daten vor dem Training übereinstimmen und andere nicht. Das Modell selbst ist also nicht zu unterscheiden. Allerdings ist diese Angelegenheit nicht völlig verbesserungswürdig. Man erkennt, dass GPT4 praktische Verbesserungen gebracht hat. Dies geschieht durch Lernen, das Minimieren von Nicht-Fakten und das Finden von Fakten. Ich bin jedoch der Meinung, dass die einfache Verwendung der vorhandenen neuronalen Netzwerkmethode für große Modelle das Problem wahrscheinlich nicht vollständig lösen wird. Daher müssen wir noch einige andere Methoden erforschen und externes Urteilsvermögen nutzen, um das Problem zu lösen. Diese Frage ist eine sehr gute Frage.
Wang Jun: Tatsächlich kann man diese Frage auch andersherum betrachten. Fiktion kann auch eine gute Sache sein. In manchen Fällen wird man gebeten, ein Gedicht oder eine Komposition zu schreiben, die hoffentlich einen Science-Fiction-Anteil enthält, was das Problem sehr schwierig macht. Ob man Fakten finden oder Ideen konstruieren möchte, ist in der Tat eher zweideutig, und man braucht ein Ziel, um es zu erreichen. F4: Wird Huawei als hervorragender Vertreter der KI-Branche als nächstes sein eigenes ChatGPT entwickeln? Welches Layout wird basierend auf dem aktuellen Geschäft in großen Modellen oder multimodalen Modellen verwendet?
Liu Qun: Zuallererst wird Huawei die Herausforderung auf jeden Fall direkt annehmen, und Wir haben in dieser Hinsicht viele Ansammlungen, es könnte für mich schwierig sein, hier zu konkret auf die Geschäftsplanung und das Layout einzugehen, aber Sie haben vielleicht bemerkt, dass es eine Rede von Herrn Ren gab, in der er diesen Jemand erwähnte fragte Herrn Ren über ChatGPT. Herr Ren sagte, dass es sich nicht nur um ein NLP- oder Sehproblem handelt, und dass das größere Potenzial in der Zukunft möglicherweise kein einfaches Oberflächenproblem ist Das kann eine Kombination aus NLP und Vision oder ein multimodales Problem sein. Es kann in den verschiedenen Geschäftsbereichen von Huawei eingesetzt werden, und 80 % seiner Anwendungen werden in einigen Geschäftsbereichen stattfinden, die sich die Leute vielleicht nicht hätten vorstellen können. Ich denke, das Potenzial ist auf jeden Fall sehr groß. Huawei wird sich den Herausforderungen stellen und eigene Fähigkeiten in diesem Bereich entwickeln.
F5: Welche anderen Richtungen kann das ChatGPT-System aus neurowissenschaftlicher Sicht versuchen, dem menschlichen Denkfeedback ähnlicher zu werden?
Li Chengyu:Das ist offensichtlich eine sehr gute Frage. Hirnforschung und Innere Medizin sind sehr unterschiedlich und jeder hat sehr unterschiedliche Meinungen. Ich kann nur meine persönliche Meinung vertreten. Ich denke, dass allgemeine künstliche Intelligenz in Zukunft ein sehr wichtiger Punkt sein könnte. Wenn neben mir ein Wesen steht, das mir ähnlich sieht und über eine ähnliche Intelligenz verfügt wie ich, kann es mir bei der Lösung meines Problems helfen. Aus dieser Perspektive kann das aktuelle ChatGPT viele Formen annehmen. Es kann etwas Bewegung hineinbringen, und er braucht kontinuierliches Lernen und er muss auch ein gewisses Selbstbewusstsein haben. Ich denke, dass wir mit Selbstbewusstsein viele der gerade erwähnten Fake News lösen können. Es gibt auch die Ethik, die gerade erwähnt wurde. Die grundlegendste Datenquelle besteht aus ethischen Fragen. Da es mehr als 190 Länder auf der Welt gibt, spiegelt sich die Kultur der meisten Länder nicht in ChatGPT wider. Aus ethischer Sicht müssen wir alle aus einer neuen Perspektive darüber nachdenken, wie wir ein gerechteres, effektiveres und besseres Leben aufbauen können intelligenterer Körper. Die von RLCN-Studenten gestellten Fragen umfassen tatsächlich Induktive BIAS. Ich denke, dass die induktive BIAS sehr wichtig für die Intelligenz, die allgemeine Bewegung und die Führung ist, die ich gerade erwähnt habe.
F6: Wird das GPT-Großmodell das bestehende Forschungsparadigma des maschinellen Lernens untergraben? Ist die theoretische Forschung im Bereich der künstlichen Intelligenz in der Post-Big-Model-Ära immer noch wichtig?
Liu Qun: Obwohl ich kein Theoretiker bin, denke ich, dass Theorie wichtig ist, aber ich habe mir nicht vorgestellt, wie Theorie dazu beitragen kann, dass unsere aktuelle KI bessere Leistungen erbringt. Aber ich hoffe, dass die Theorie helfen kann, eine Frage zu beantworten. Wir reden oft über die Entstehung großer Modelle, aber die Entstehung selbst ist meiner Meinung nach definitiv einige neue Fähigkeiten großes Modell, wenn normale Kinder erwachsen werden, Nachdem er das Zehnfache seines ursprünglichen Gewichts zugenommen hat, müssen seine Fähigkeiten anders sein als zuvor, also halte ich das für normal. Aber gibt es eine Theorie, die die Größe des Modells und die Größe der Daten, die für die Entstehung verschiedener Fähigkeiten erforderlich sind, genau vorhersagen kann? Ich möchte wirklich mehr darüber wissen, und inwieweit können große Modelle mit neuen Fähigkeiten entstehen?
Fang Meng: Ich denke, die mögliche zukünftige Forschungsrichtung ist, dass GPT eine starke Fähigkeit zur logischen Schlussfolgerung zeigt. Ich würde gerne wissen, wie man beweisen kann, dass es sich um eine echte Fähigkeit zur logischen Schlussfolgerung handelt, anstatt sie nachzuahmen, nachdem ich viel gelernt habe von Daten. Ich bin auch neugierig, wie viele Daten und wie groß ein Modell sein muss, um logische Schlussfolgerungen zu ermöglichen. Ich denke also, dass wir einige empirische Ergebnisse haben können, aber wir müssen wirklich mehr Forschung auf der theoretischen Seite betreiben, wenn wir die richtige Antwort haben wollen.
Wen Jirong: Ich denke, dass diese Frage ziemlich gut untersucht werden kann. Jetzt zeigen GPT4 oder andere große GPT-Modelle so viele kognitive Fähigkeiten oder menschenähnliche Verhaltensweisen. Wird es in Zukunft eine Wissenschaft wie die digitale Gehirnwissenschaft geben? Denn dieses Modell selbst ist Gegenstand unserer Forschung. Ich denke, dass die Untersuchung großer Modelle selbst sehr bedeutsam ist. Was hier entdeckt wird, kann wiederum viele wichtige Implikationen für die zukünftige Hirnforschung oder Kognitionswissenschaft haben.
Li Chengyu: Ich denke, das ist eine gute Frage. Sie können GPT4 stellen. Der Grund dafür ist, dass es zwei Kernmerkmale im Bewusstsein gibt: selektive Verarbeitung und Überwachung der Eingabeinformationen, und die zweite besteht darin, das eigene Bewusstsein zu überwachen. Kann ChatGPT selbst oder seine zukünftigen Nachkommen aus dieser Perspektive ihr eigenes Verhalten überwachen? Dies ist etwas, was Sie auf theoretischer Ebene fragen können, und Sie können auch ein neues Framework oder eine neue Netzwerkstruktur erstellen, um diese Fähigkeit zu generieren. Aus dieser Perspektive kann der theoretische Rahmen vielleicht dazu beitragen, eine neue Generation künstlicher Intelligenz aufzubauen.
Wang Jun: Ja, es ist nicht nur die Aufmerksamkeit, die die Grenzen der Fähigkeiten kennt. Wo liegen beispielsweise die Grenzen der aktuellen Architekturfähigkeiten von Transformer? Was kann und was nicht? Verfügt es über ein Arbeitsgedächtnis? Wo liegen die Grenzen der Möglichkeiten der Feedback-Funktion? Manche Dinge können entstehen, andere nicht. Diese erfordern in der Tat eine sehr solide theoretische Grundlage, um sie studieren zu können. Es gibt auch Vorkenntnisse über induktive BIAS. Erstens ist das Design des Transformators selbst ein A-priori-Wissen. Ich denke, dass diese Themen dringend einer theoretischen Forschung bedürfen. Ohne Anleitung wird jeder eine kopflose Fliege sein.
Das obige ist der detaillierte Inhalt vonProfessor Wang Jun organisierte nach ChatGPT sieben KI-Wissenschaftler, um die Theorie und Anwendung allgemeiner künstlicher Intelligenz zu diskutieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
