Die bevorstehende Veröffentlichung von GPT4 ist vergleichbar mit dem menschlichen Gehirn und viele Branchenführer können nicht still sitzen!

​Autor |. Xu Jiecheng

Rezensent |. 100 Billionen, wie groß ist diese Zahl? Wenn Sie die Superkraft haben, jeden Tag 5 Millionen Lottoscheine zu gewinnen, müssen Sie, wenn Sie das ganze Geld sparen, ohne zu essen oder zu trinken, immer noch etwa 5.500 Jahre leben, um 100 Billionen an Vermögen zu sparen. Allerdings stehen die 100 Billionen, über die ich heute mit Ihnen sprechen möchte, nicht hinter den begehrten Einheiten wie „RMB“ und „Dollor“. Die 100 Billionen hier beziehen sich auf die Anzahl der Parameter im Besitz von OpenAI, einem Forschungsunternehmen für künstliche Intelligenz, das von vielen Technologiemagnaten aus dem Silicon Valley mitgegründet wurde und im Begriff ist, die vierte Generation des generativen Pre-Training Transformer-GPT-4 herauszubringen.

Um es allen zu erleichtern, diese Daten intuitiver zu verstehen, können wir das menschliche Gehirn für den Vergleich mit GPT-4 verwenden. Unter normalen Umständen verfügt ein normales menschliches Gehirn über etwa 80–100 Milliarden Neuronen und etwa 100 Billionen Synapsen. Diese Neuronen und Synapsen steuern direkt fast alle Gedanken, Urteile und Verhaltensweisen eines Menschen in hundert Lebensjahren, und GPT-4 verfügt über so viele Parameter wie Synapsen im menschlichen Gehirn. Was ist also das Potenzial eines so großen dichten neuronalen Netzwerks? Welche Überraschungen wird uns die Entstehung von GPT-4 bringen? Haben wir wirklich die Fähigkeit, ein menschliches Gehirn zu erschaffen?

Bevor wir uns mit diesen spannenden Themen befassen, sollten wir zunächst die Entwicklungsgeschichte mehrerer „Vorgänger“ von GPT-4 verstehen.

1. GPT: Es ist einfach ein Blockbuster

Das erste GPT-Serienmodell GPT-1 wurde 2018 geboren, dem ersten Jahr dessen, was wir oft als NLP-Vorschulungsmodell bezeichnen. Als erstes auf Transformer basierendes Vortrainingsmodell verwendet GPT-1 zwei Phasen des Vortrainings + FineTuning, wobei der Decoder von Transformer als Feature-Extraktor verwendet wird. Es stapelt insgesamt 12 Ebenen und verfügt über 110 Millionen Parameter „Einzelnes „Sprachmodell“ als Trainingsaufgabe.

Leistungsmäßig verfügt GPT-1 über eine gewisse Generalisierungsfähigkeit und kann bei NLP-Aufgaben eingesetzt werden, die nichts mit Supervisionsaufgaben zu tun haben. Zu den häufig verwendeten Aufgaben gehören:

Natürliches Denken: Bestimmen Sie die Beziehung zwischen zwei Sätzen (Eindämmung, Widerspruch, Neutralität).

• Frage und Antwort und vernünftiges Denken: Geben Sie einen Artikel und mehrere Antworten ein und geben Sie die Genauigkeit des Satzes aus Antwort
• Semantische Ähnlichkeitserkennung: Bestimmen Sie, ob die Semantik zweier Sätze zusammenhängt
• Klassifizierung: Bestimmen Sie, zu welcher Kategorie der Eingabetext gehört

Obwohl GPT-1 einige Auswirkungen auf nicht debuggte Aufgaben hat, ist seine Generalisierungsfähigkeit weitaus geringer Die Feinabstimmung ist eine überwachte Aufgabe, daher kann GPT-1 nur als einigermaßen gutes Sprachverständnis-Tool und nicht als Konversations-KI angesehen werden.

Ein Jahr nach der Einführung von GPT-1 kam 2019 planmäßig auch GPT-2 auf den Markt. Im Vergleich zu seinem großen Bruder GPT-1 hat GPT-2 nicht allzu viele strukturelle Neuerungen und Designs am ursprünglichen Netzwerk vorgenommen. Es wurden lediglich mehr Netzwerkparameter und ein größerer Datensatz verwendet: Das größte Modell verfügt über insgesamt 48 Schichten Parameter Der Betrag erreicht 1,5 Milliarden, und das Lernziel verwendet ein unbeaufsichtigtes Vortrainingsmodell, um überwachte Aufgaben auszuführen.

Quelle: Twitter

Was die Leistung angeht, scheinen die Bemühungen von OpenAI wirklich einige Wunder gebracht zu haben. Zusätzlich zu seiner Verständnisfähigkeit hat GPT-2 zum ersten Mal in seiner Generation ein starkes Talent gezeigt: Zusammenfassungen lesen, chatten, weiterschreiben, Geschichten erfinden und sogar Fake News generieren, Phishing-E-Mails senden oder sich online als andere ausgeben, sind alles ein Kinderspiel. Nachdem GPT-2 „größer geworden“ war, demonstrierte es eine Reihe universeller und leistungsstarker Fähigkeiten und erzielte die damals beste Leistung bei mehreren spezifischen Sprachmodellierungsaufgaben. Kein Wunder, dass OpenAI damals sagte: „GPT-2 sei zu gefährlich für die Veröffentlichung.“

Seit dem Erfolg von GPT-2 ist der Glaube von OpenAI an den „Herkules“ immer fester geworden. GPT-3 folgt weiterhin der Entwicklungsidee der Mikroinnovation und der schnellen Expansion. Abgesehen davon, dass der Transformer in GPT-3 die Sparse-Struktur anwendet, gibt es fast keinen Unterschied in der Struktur von GPT-3 und GPT-2. In Bezug auf die „Kraft“ hat das GPT-3-Modell 96 Schichten erreicht und die Trainingsparameter haben 175 Milliarden erreicht (mehr als das Zehnfache von GPT-2).

Und GPT-3 hat erneut die Vision von OpenAI bewiesen. Aufgrund der stärkeren Leistung und deutlich mehr Parameter enthält GPT-3 mehr Thementexte, was offensichtlich besser ist als die vorherige Generation von GPT-2. Als derzeit größtes dichtes neuronales Netzwerk kann GPT-3 Webseitenbeschreibungen in entsprechende Codes umwandeln, menschliche Erzählungen nachahmen, benutzerdefinierte Gedichte erstellen, Spielskripte generieren und sogar verstorbene Philosophen nachahmen und so den wahren Sinn des Lebens vorhersagen. Und GPT-3 erfordert keine Feinabstimmung, sondern erfordert nur wenige Beispiele des Ausgabetyps (ein wenig Lernaufwand), um schwierige Grammatikprobleme zu lösen. Man kann sagen, dass GPT-3 offenbar alle unsere Vorstellungen von Sprachexperten erfüllt hat.

2. Den Turing-Test vollständig bestanden, um die Schwelle für Lernen und kommerzielle Nutzung zu senken.

Dieselbe Frage: „GPT-3 ist bereits sehr leistungsfähig. Worauf können wir uns bei GPT-4 sonst noch freuen?“

Wie wir alle wissen, ist der Turing-Test die wichtigste Methode zum Testen der Intelligenz eines KI-Systems. Wir sind immer noch nicht in der Lage, das Konzept mit wissenschaftlich quantifizierbaren Standards zu testen Wenn der Turing-Test definiert ist, ist er derzeit eine der wenigen praktikablen Testmethoden, mit denen festgestellt werden kann, ob die andere Partei über menschliche Intelligenz verfügt. Um ein Sprichwort zu verwenden: Wenn etwas aussieht wie eine Ente, geht wie eine Ente und quakt wie eine Ente, dann ist es eine Ente. Wenn das KI-System den Turing-Test erfolgreich bestehen kann, bedeutet dies, dass das System über menschliches Denken verfügt und den Menschen in einigen Aspekten ersetzen kann. Koreanischen IT-Medienberichten zufolge berichtet die Branche seit Mitte November, dass GPT-4 den Turing-Test vollständig bestanden hat. Der Geschäftsführer des südkoreanischen Vodier AI-Unternehmens, Nam Se-dong, sagte kürzlich in einem Interview mit der südkoreanischen Zeitung „Economic News“: „Obwohl die Nachricht, dass GPT-4 den Turing-Test bestanden hat, nicht offiziell bestätigt wurde, sollte die Nachricht durchaus glaubwürdig sein.“ 🎜🎜##🎜 🎜#

Auch Sam Altman, ein Techniker und aktueller CEO von OpenAI, schien diese Information auf seinem Twitter zu bestätigen. Altman twitterte am 10. November und ahmte dabei einen klassischen Satz der „Star Wars“-Figur Darth Vader nach: „Seien Sie nicht stolz auf diese technologische Panik, die Sie geschaffen haben. Die Fähigkeit, den Turing-Test zu bestehen, ist im Original nicht vorhanden.“ was man angesichts der Gewalt tun kann.

Fotoquelle: Twitter

一An Der Geschäftsführer eines KI-Start-up-Unternehmens analysierte: „Wenn GPT-4 den Turing-Test wirklich perfekt besteht, werden seine Auswirkungen ausreichen, um eine ‚technologische Panik‘ in der KI-Welt auszulösen, also wird Altman die Figur von Darth Vader verwenden.“ diese Informationen zu veröffentlichen.“

Wenn GPT-4 den Turing-Test ohne Einschränkungen besteht, wird es tatsächlich Geschichte schreiben. Obwohl einige KI-Modelle zuvor behauptet haben, den Turing-Test zu bestehen, wurden sie von der KI-Branche nie einstimmig anerkannt. Dies liegt daran, dass die Standards und Regeln des Turing-Tests nicht klar sind und viele Modelle einige „blinde Flecken“ im Test geschickt ausnutzen. Ein typisches Beispiel ist das 2014 von der University of Reading in Großbritannien ins Leben gerufene KI-Modell „Eugene“. Damals behauptete die University of Reading gegenüber den Richtern, dass es sich bei dem Modell um einen 13-jährigen ukrainischen Jungen handele Als der Algorithmus keine gute Antwort geben konnte, ging die Jury damals davon aus, dass dies daran lag, dass es sich bei der Testperson um ein ausländisches Kind handelte.

Quelle: Internet

Obwohl das Bild Der Turing-Test ist kein absoluter Bezugspunkt für die KI-Technologie, aber als ältester und bekanntester KI-Technologietest bisher hat der Turing-Test immer noch große symbolische Bedeutung. Wenn GPT-4 den Turing-Test wirklich offiziell und definitiv besteht, dann wird es höchstwahrscheinlich den bisher größten Meilenstein in der KI-Branche schaffen.

Darüber hinaus wird GPT-4 im Gegensatz zu GPT-3 höchstwahrscheinlich mehr als nur ein Sprachmodell sein. OpenAI-Chefwissenschaftler Ilya Sutskever hat dies einmal in seinem multimodalen Artikel angedeutet: „Text selbst kann viele Informationen über die Welt ausdrücken, aber er ist schließlich unvollständig, weil wir auch in einer visuellen Welt leben.“ Daher einige Branchenexperten gehen davon aus, dass GPT-4 multimodal sein wird und Audio-, Text-, Bild- und sogar Videoeingaben akzeptieren kann, und gehen davon aus, dass der Whisper-Audiodatensatz von OpenAI zur Erstellung von GPT-4-Textdaten verwendet wird. Dies bedeutet auch, dass GPT-4 keine Einschränkungen mehr beim Empfang und der Verarbeitung externer Informationen haben wird.

Der Grund, warum die Branche GPT-4 Aufmerksamkeit schenkt, liegt höchstwahrscheinlich darin, dass die tatsächliche kommerzielle Schwelle von GPT-4 niedriger sein wird als die von herkömmlichem GPT-3. Von Unternehmen, die bislang aus Kosten- und Infrastrukturgründen nicht in der Lage waren, verwandte Technologien zu nutzen, wird erwartet, dass sie auch GPT-4 nutzen. GPT-4 befindet sich derzeit in der letzten Phase der Listung und wird zwischen Dezember dieses Jahres und Februar nächsten Jahres veröffentlicht. Alberto Garcia, Analyst bei Cambridge AI Research, veröffentlichte einen Blog und prognostizierte: „GPT-4 wird sich mehr auf die Optimierung der Datenverarbeitung konzentrieren, sodass die Lernkosten von GPT-4 voraussichtlich niedriger sein werden als die von GPT-3.“ Das Lernen Die Kosten pro Folge von GPT-4 werden wahrscheinlich von Millionen Dollar für GPT-3 auf etwa 1 Million Dollar gesenkt.

3. Verschiedene Wege führen zum gleichen Ziel: Die Simulation des menschlichen Gehirns kann schneller gehen

Wenn die oben genannten Informationen alle wahr sind, dann Derzeit können wir davon ausgehen, dass mit der Veröffentlichung von -4 der Bereich der Deep-Learning-Forschung im nächsten Jahr eine große Anzahl fortgeschrittenerer, natürlicherer und nahezu unmöglich zu unterscheidender Authentizität einläuten wird Chat-Service-Roboter können auf dieser Grundlage auch in verschiedenen Branchen auftauchen. Es werden auch mehr hochwertige personalisierte KI-Dienste entstehen, und wir werden höchstwahrscheinlich erstmals eine barrierefreie Kommunikation erreichen.

Kehren wir zum eingangs erwähnten Thema der Schaffung oder Simulation menschlicher Gehirne zurück. Obwohl das neuronale Netzwerk in GPT-3 nicht versucht, das menschliche Gehirn direkt zu imitieren, weist die von GPT-3 vorgestellte Sprachverarbeitungsmethode laut einer Studie des MIT gewisse Ähnlichkeiten mit den Lösungen auf, die während der Evolution des menschlichen Gehirns erzielt wurden. Wenn derselbe Reiz wie das menschliche Testgehirn in das Modell eingegeben wurde, erhielt das Modell die gleiche Art von Aktivierung wie das menschliche Gehirn, und in mehr als 40 Sprachmodelltests zog GPT-3 nahezu perfekte Schlussfolgerungen Die Funktion ähnelt tatsächlich der des Sprachverarbeitungszentrums des menschlichen Gehirns. In diesem Zusammenhang sagte auch Daniel Yamins, Assistenzprofessor für Psychologie und Informatik an der Stanford University: „Das Netzwerk der künstlichen Intelligenz imitiert das Gehirn nicht direkt, aber am Ende sieht es aus wie das Gehirn. Das zeigt in gewisser Weise, dass es so ist.“ Es scheint eine Kluft zwischen künstlicher Intelligenz und der Natur zu geben.“

Fotoquelle: Internet

davon Es ist ersichtlich, dass die Modelle der GPT-Serie zwar nicht direkt die Designideen der Simulation von Gehirnstrukturen im Blue Brain Project übernehmen, die präsentierten Ergebnisse jedoch unseren Erwartungen näher zu sein scheinen als die des Blue Brain Project. Wenn diese Forschungsrichtung also wirklich machbar ist und GPT-4 in einigen Aspekten auf der Grundlage von GPT-3 einen Durchbruch erzielen kann, werden wir dem Ziel, einige Funktionen des menschlichen Gehirns zu simulieren, einen Schritt näher kommen.

Abschließend möchte ich mit einem Zitat aus dem jüngsten Beitrag von OpenAI-CEO Sam Altman auf Twitter schließen, der auch von „Silicon Valley Iron Man“ Elon Musk gelobt wurde. Anerkennung – „Allgemeine künstliche Intelligenz wird sich schneller etablieren, als sich die meisten Menschen vorstellen, und sie wird über einen langen Zeitraum alles ‚verändern‘, was sich die meisten Menschen vorstellen.“

Fotoquelle: Twitter

Referenzlink :

https://dzone.com/articles/what-can-you-do-with-the-openai-gpt-3-lingual-mod

https : //analyticsindiamag.com/gpt-4-is-almost-here-and-it-looks-better-than-anything-else/

https://analyticsindiamag.com/openais-whisper - might-hold-the-key-to-gpt4/

Das obige ist der detaillierte Inhalt vonDie bevorstehende Veröffentlichung von GPT4 ist vergleichbar mit dem menschlichen Gehirn und viele Branchenführer können nicht still sitzen!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!