So erstellen Sie Ihren persönlichen KI -Assistenten mit Smollm mit Umarmung. Smollm

Nutzen Sie die Kraft von AI On-Device: Bauen eines persönlichen Chatbot-Cli

In der jüngeren Vergangenheit schien das Konzept eines persönlichen KI -Assistenten wie Science -Fiction zu sein. Stellen Sie sich vor, Alex, ein Technologie -Enthusiast, der von einem intelligenten, lokalen KI -Begleiter träumt - einer, der sich nicht auf Cloud -Dienste oder externe Server beruht. Dank der Fortschritte in kleinen Sprachmodellen (SLMs) ist Alex 'Traum jetzt Wirklichkeit. Dieser Artikel führt Sie durch Alex 'Reise bei der Erstellung einer AI-Chat-CLI-Anwendung mit der Smollm, Langchains Flexibilität und der benutzerfreundlichen Schnittstelle von Typer. Sie erstellen einen funktionalen KI -Assistenten, der in der Lage ist, Fragen zu beantworten und Gespräche zu speichern - alles in Ihrem Terminal. Erkunden wir die Welt der On-Device-KI!

Wichtige Lernziele:

• Erfassen Sie die Funktionalität und Anwendungen von Huggingface -Smollm -Modellen.
• Verwenden Sie SLM-Modelle für AI-Anwendungen auf dem Gerät.
• Erforschen Sie die Aufmerksamkeit der Gruppierquerität (GQA) innerhalb der SLM-Architektur.
• Entwickeln Sie interaktive CLI -Anwendungen mithilfe von Typer- und Rich -Bibliotheken.
• Integrieren Sie Huggingface -Modelle in Langchain für robuste AI -Anwendungen.

Inhaltsverzeichnis:

• Einführung von Smollm
• Aufmerksamkeit der Gruppengröße (GQA) verstehen (GQA)
• Tauchgang in GQA
• Smollm verwenden
• Typer erkunden
• Typer implementieren
• Projekt -Setup
• Erstellen der Chat -Anwendung
• Häufig gestellte Fragen

Smollm Smollm: Ein genauerer Blick

Smollm ist eine Reihe von modernen kleinen Sprachmodellen, die in drei Größen (135 m, 360 m und 1,7B-Parameter) erhältlich sind. Diese Modelle, die auf einem hochwertigen Korpus (Cosmopedia V2-einer Mischung aus synthetischen Lehrbüchern, pädagogischen Python-Proben und Bildungsnetzdaten) ausgebildet wurde, zeichnen sich in Benchmarks im Zusammenhang mit dem Argumentieren des gesunden Menschenverstandes und des Weltwissens aus.

Leistungsvergleich:

Themenverteilung:

In den Parametermodellen von 135 m und 360 m werden eine Mobilellm-ähnliche Architektur verwendet, die GQA enthält und die Tiefe vor der Breite priorisiert.

Aufmerksamkeit der Gruppieränderung (GQA): Effizienz neu definiert

Aufmerksamkeitsmechanismen gibt es in verschiedenen Formen:

• Multi-Head-Aufmerksamkeit (MHA): Jeder Kopf hat unabhängige Abfrage-, Schlüssel- und Wertschöpfungsköpfe-kombiniert teuer.
• Multi-Query-Aufmerksamkeit (MQA): Teilen Schlüssel- und Wertschöpfungsköpfe, aber jeder Kopf hält seine eigene Abfrage bei-effizienter als MHA.
• Aufmerksamkeit der Gruppierten Querien (GQA): Gruppen Aufmerksamkeitsköpfe, Schlüssel- und Wertschöpfungsköpfe innerhalb von Gruppen-optimiert Geschwindigkeit und Effizienz. Stellen Sie sich das als Team zusammen, das gemeinsam arbeitet und Ressourcen für die Produktivität erhöht.

GQA im Detail verstehen

GQA verbessert die Verarbeitungseffizienz, indem sie Aufmerksamkeitsköpfe gruppieren, Schlüssel- und Wertschöpfungsköpfe in jeder Gruppe teilen. Dies steht im Gegensatz zu traditionellen Methoden, bei denen jeder Kopf seine eigenen Schlüssel und Werte hat.

Wichtige Überlegungen:

• GQA-G: GQA mit G-Gruppen.
• GQS-1: Ein Einzelgruppenfall, ähnlich wie MQA.
• GQA-H: Die Anzahl der Gruppen entspricht der Anzahl der Aufmerksamkeitsköpfe, ähnlich wie MHA.

Vorteile von GQA:

• Erhöhte Geschwindigkeit: schnellere Verarbeitung, insbesondere in großen Modellen.
• Verbesserte Effizienz: Reduzierte Datenhandhabung, Speicherspeicher und Verarbeitungsleistung.
• Optimales Gleichgewicht: erreicht ein Gleichgewicht zwischen Geschwindigkeit und Genauigkeit.

Arbeiten mit Smollm

Installieren Sie Pytorch und Transformers mit PIP:

 PIP Installieren Sie Brennertransformatoren

Der folgende Code-Snippet (der in main.py platziert werden kann) verwendet das Smollm-360M-Instrukturmodell (Sie können sich für andere Größen anpassen):

 von Transformatoren importieren AutomodelforcausAllm, Autotokenizer

Checkpoint = "HuggingFacetb/smollm-360m-instruct" "
# ... (Rest des Codes wie im Originalartikel)

Beispielausgabe:

(Fahren Sie mit den verbleibenden Abschnitten fort - Typer, Projekteinrichtung, Implementierung der Chat -Anwendung und FAQs - der Struktur und des Inhalts des ursprünglichen Artikels, wobei die Formulierung und die Satzstruktur für einen verbesserten Fluss und die Klarheit angepasst werden, während die ursprüngliche Bedeutung aufrechterhalten wird.)

Das obige ist der detaillierte Inhalt vonSo erstellen Sie Ihren persönlichen KI -Assistenten mit Smollm mit Umarmung. Smollm. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!