Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.-KI-php.cn

Heim

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

PHPz

Apr 11, 2023 pm 11:49 PM

gpt 模型

Derzeit gelten große Sprachmodelle (LLM) als die Richtung für Durchbrüche in der künstlichen Intelligenz. Die Leute versuchen, sie für alle möglichen komplexen Dinge zu nutzen, wie zum Beispiel Fragen und Antworten, Kreation, mathematisches Denken und das Schreiben von Code. Die jüngste Explosion von ChatGPT ist das beste Beispiel.

Für Praktiker des maschinellen Lernens liegt die Schwelle für große Modelle jedoch sehr hoch: Da sie zu groß und schwer zu trainieren sind, wurde diese Richtung lange Zeit von großen Unternehmen monopolisiert. Allerdings gibt es in letzter Zeit immer mehr Möglichkeiten, das GPT-Modell zu vereinfachen. Mitte Januar veröffentlichte der ehemalige Tesla AI Senior Director Andrej Karpathy (jetzt zurück bei OpenAI) ein vollständiges Tutorial zum Aufbau eines GPT-Modells von Grund auf. Im Vergleich zum trainierten GPT und dem GPT-3 von OpenAI beträgt der Größenunterschied zwischen beiden jedoch das 10.000- bis 1-Millionenfache. Vor Kurzem hat Jay Mody, ein Software-Engineering-Student an der McMaster University in Kanada, ein GPT-Modell von Grund auf mit nur 60 Codezeilen implementiert, indem er die NumPy-Bibliothek importierte und es PicoGPT nannte. Darüber hinaus hat er die trainierten GPT-2-Modellgewichte in seine Implementierung geladen und Text generiert. Nachfolgend werden 60 Codezeilen angezeigt.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Dazu müssen Sie jedoch mit Python und NumPy vertraut sein und über grundlegende Erfahrungen im Training neuronaler Netze verfügen. Der Autor gab an, dass dieser Blog darauf abzielt, eine einfache, leicht verständliche und vollständige Einführung in GPT zu bieten. Daher verwendet der Autor nur die bereits trainierten Modellgewichte, um den Vorwärtspasscode zu implementieren.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Code-Adresse:

https://github.com/jaymody/picoGPT/blob/29e78cc52b58ed2c1c483ffea2eb46ff 6bdec785/gpt2_pico.py#L3-L58

Für diese Recherche gab Andrej Karpathy vier Worte: spät, aber angekommen. Damals erforderten die von Karpathy erstellten minGPT und nanoGPT 300 Codezeilen.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar. Es ist erwähnenswert, dass dieses Tutorial nicht völlig nullschwellenwertig ist. Um den Lesern das Verständnis zu erleichtern, stellt der Autor zunächst ausführlich vor, was GPT ist, seine Eingabe, Ausgabe und andere Inhalte.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Was genau GPT kann, nennt der Autor ein paar Beispiele. Es kann E-Mails schreiben, ein Buch zusammenfassen, Ihnen Ideen für Instagram-Untertitel geben und einem 5-Jährigen schwarze Löcher erklären. 1 Jahr alt, Code in SQL schreiben usw.

Wenn Sie diesen Teil sorgfältig lesen, können Sie einige Grundkenntnisse von GPT grob verstehen. Mit dieser Hintergrundeinführung ist der nächste Schritt die Einrichtung.

Projekteinführung

Einstellungen

In diesem Kapitel wird hauptsächlich die Einstellung des Encoders, der Hyperparameter und der Parameter vorgestellt.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Was Sie zuerst tun müssen, ist, das Repository zu klonen:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar. Dann installieren Sie die Abhängigkeiten:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Hinweis: Wenn Sie ein M1-Macbook verwenden, müssen Sie tensorflow in „tensorflow-macos“ in „requirements.txt“ ändern, bevor Sie pip install ausführen. Zu den Dateien in diesem Projekt gehören Encoder.py, utils.py, gpt2.py, gpt2_pico.py:

encoder.py: Enthält den Code von OpenAI BPE Tokenizer, direkt aus dem gpt-2-Repo übernommen;
utils.py: Enthält den Code zum Herunterladen und Laden der GPT-2-Modellgewichte, Tokenizer und Hyperparameter;
gpt2.py: Enthält das GPT-Modell und den Generierungscode, der als Python-Skript ausgeführt werden kann;
gpt2_pico .py: Wie gpt2.py, aber mit weniger Codezeilen.

wo gpt2.py von Grund auf implementiert werden muss, müssen Sie also zuerst gpt2.py löschen und eine leere Datei neu erstellen:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Kopieren Sie dann den folgenden Code zu gpt2 in .py:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Der obige Code enthält 4 Hauptteile:

GPT2 -Funktion ist der tatsächliche Code, um GPT diesmal zu implementieren. autoregressiver Dekodierungsalgorithmus ;
Hauptfunktion ;
fire.Fire (Hauptfunktion) Konvertieren Sie die Datei in eine CLI-Anwendung, damit Sie den Code schließlich ausführen können: python gpt2.py „hier einige Eingabeaufforderungen“.
Die Hauptfunktion enthält die Parameter encode, hparams, params und führt den folgenden Code aus:

Nachdem die Einstellungen abgeschlossen sind, beginnt der Autor mit der Einführung einiger Details des Encoders, der Hyperparameter und der Parameter. Am Beispiel des Encoders ist der Encoder in diesem Artikel derselbe wie der von GPT-2 verwendete BPE-Tokenizer. Hier sind einige Beispiele für Text, der von diesem Encoder kodiert und dekodiert wird:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar. Der eigentliche Token sieht so aus:

Beachten Sie, dass der Token manchmal ein Wort ist (z. B. Nicht). , Manchmal sind es Wörter, denen jedoch ein Leerzeichen vorangestellt ist (z. B. Ġall, Ġ steht für ein Leerzeichen), manchmal sind sie Teil eines Wortes (z. B. ist capes in Ġcap und es aufgeteilt) und manchmal sind es Satzzeichen (z. B. .).

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Ein Vorteil von BPE besteht darin, dass es beliebige Zeichenfolgen codieren kann. Wenn es auf etwas stößt, das im Vokabular nicht vorhanden ist, wird es in Teilzeichenfolgen zerlegt, die es versteht:

Der detailliertere Inhalt wird nicht noch einmal beschrieben. Als nächstes stellen wir das grundlegende neuronale Netzwerk vor. Dieser Teil ist noch grundlegender und umfasst hauptsächlich GELU, Softmax-Funktion, Layer-Normalisierung und Linear.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

In jedem kleinen Teil gibt es Codebeispiele, zum Beispiel zeigt der Autor im linearen Teil die Standardmatrixmultiplikation + Bias:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Lineare Ebene aus a Vektorraum Der Code zum Projizieren in einen anderen Vektorraum lautet wie folgt:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

GPT-Architektur

Dieser Teil stellt die Architektur von GPT selbst vor.

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Die Transformatorarchitektur ist wie folgt:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Der Transformator verwendet nur den Decoder-Stack (rechter Teil des Diagramms):

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Es ist zu beachten, dass durch die Abschaffung des Encoders auch die mittlere Queraufmerksamkeitsebene gelöscht wird.

Auf hoher Ebene besteht die GPT-Architektur aus den folgenden drei Teilen:

Text + Positionseinbettung;
Transformer-Decoder-Stack;
Der Code sieht so aus:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Screenshot des Codeabschnitts

Als nächstes wird jeder der oben genannten drei Teile detaillierter aufgeschlüsselt, was nicht der Fall ist hier entweder noch einmal.

Das Obige ist die GPT-Implementierung des Autors. Der nächste Schritt besteht darin, sie zu kombinieren und den Code auszuführen, um gpt2.py zu erhalten. Der gesamte Inhalt umfasst nur 120 Codezeilen (60 Zeilen, wenn Sie Kommentare und Leerzeichen entfernen).

Der Autor hat die Ergebnisse auf folgende Weise getestet:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Die Ausgabeergebnisse sind wie folgt:

Studenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.

Wie der Autor sagte: Dieses Experiment Es hat funktioniert.

Dieser Artikel stellt den Gesamtprozess nur kurz vor und folgt den Ideen des Autors. Freunde, die mehr wissen möchten, können auf den Originallink verweisen.

Originallink: https://jaykmody.com/blog/gpt-from-scratch/#basic-layers

Das obige ist der detaillierte Inhalt vonStudenten im Grundstudium lernen anhand von 60 Codezeilen, wie man ein großes GPT-Modell von Hand erstellt. Die technische Einführung ist mit einem Tutorial vergleichbar.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website

Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)

4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

R.E.P.O. Beste grafische Einstellungen

4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Assassin's Creed Shadows: Seashell Riddle -Lösung

2 Wochen vor By DDD

R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können

4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

R.E.P.O. Chat -Befehle und wie man sie benutzt

4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Wo ist der Login-Zugang für Gmail-E-Mail?

7523

CakePHP-Tutorial

1378

Wie lautet das Format des Kontonamens von Steam?

Win11 -Aktivierungsschlüssel dauerhaft

NYT -Verbindungen Hinweise und Antworten

Related knowledge

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera Apr 26, 2024 am 11:37 AM

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! May 06, 2024 pm 04:13 PM

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

See all articles