Kleine Lama-große Modelle, die mit minimalen Rechen- und Speicherressourcen ausgeführt werden können

Hintergrundeinführung

Im aktuellen Zeitalter explosiver Informationen wird das Training von Sprachmodellen immer komplexer und schwieriger. Um ein effizientes Sprachmodell zu trainieren, benötigen wir viele Rechenressourcen und Zeit, was für viele Menschen unpraktisch ist. Gleichzeitig stehen wir auch vor der Herausforderung, große Sprachmodelle unter begrenzten Speicher- und Rechenressourcen, insbesondere auf Edge-Geräten, anzuwenden.

Heute möchte ich Ihnen ein GitHub-Open-Source-Projekt jzhang38/TinyLlama empfehlen. Das Projekt hat mehr als 4,3.000 Sterne auf GitHub: „Das TinyLlama-Projekt ist ein offenes Unterfangen.“ Trainieren Sie ein 1.1B-Lama-Modell auf 3 Billionen Token vor.“

Projekteinführung

TinyLlamas Ziel ist es, ein 1.1B-Llama-Modell auf 3 Billionen Token vorab zu trainieren. Mit der richtigen Optimierung können wir dies mit 16 A100-40G-GPUs in nur 90 Tagen erreichen. Das Projekt verwendet genau dieselbe Architektur und denselben Tokenizer wie Llama 2, was bedeutet, dass TinyLlama problemlos in viele Llama-basierte Open-Source-Projekte eingebettet und verwendet werden kann. Darüber hinaus ist TinyLlama mit nur 1,1 Milliarden Parametern sehr kompakt. Aufgrund seiner Kompaktheit eignet es sich für viele Anwendungsszenarien, die einen begrenzten Rechen- und Speicherbedarf erfordern.

So verwenden Sie

Sie können das Modell direkt herunterladen und verwenden oder die Demo über Huggingface verwenden.

Wenn Sie selbst trainieren möchten, beachten Sie bitte die Trainingsdetails unten.

Projektförderung

TinyLlama ist ein spannendes Open-Source-Projekt, das aktiv einige Schlüsselprobleme löst und in der Open-Source-Community große Aufmerksamkeit erregt hat.

Das Folgende ist das Star-Trenddiagramm des Projekts (das den Aktivitätsgrad des Projekts darstellt):

Weitere Projektdetails finden Sie unter dem Link unten.

Adresse des Open-Source-Projekts: https://github.com/jzhang38/TinyLlama

Autor des Open-Source-Projekts: jzhang38

Die folgenden Mitglieder sind alle am Projektaufbau beteiligt:

Das obige ist der detaillierte Inhalt vonKleine Lama-große Modelle, die mit minimalen Rechen- und Speicherressourcen ausgeführt werden können. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!