Laufen OLMO-2 vor Ort mit Gradio und Langchain

olmo 2: Eine leistungsstarke Open-Source-LLM für zugängliche AI ​​

Das Gebiet der natürlichen Sprachverarbeitung (NLP) verzeichnete schnelle Fortschritte, insbesondere bei großen Sprachmodellen (LLMs). Während proprietäre Modelle historisch dominiert haben, schließen Open-Source-Alternativen die Lücke schnell. OLMO 2 stellt einen signifikanten Sprung nach vorne dar und bietet eine Leistung, die mit Closed-Source-Modellen vergleichbar ist und gleichzeitig die vollständige Transparenz und Zugänglichkeit beibehält. Dieser Artikel befasst sich mit Olmo 2 und untersucht seine Ausbildung, Leistung und praktische Anwendung.

Schlüssellernen:

• erfassen die Bedeutung von Open-Source-LLMs und Olmo 2s Beitrag zur AI-Forschung.
• Verstehen Sie die Architektur-, Trainingsmethoden von OLMO 2 und die Benchmark -Ergebnisse.
• Unterscheiden Sie zwischen offenem, teilweise offenem und vollständig geöffnetem Modellarchitekturen.
• Lernen Sie, Olmo 2 lokal mit Gradio und Langchain auszuführen.
• Erstellen Sie eine Chatbot -Anwendung mit OLMO 2 mit Python -Code -Beispielen.

(Dieser Artikel ist Teil des Datenwissenschaftsblogathons.)

Inhaltsverzeichnis:

• Die Notwendigkeit von Open-Source-LLMs
• Einführung von Olmo 2
• Dekonstruktion des Trainings von Olmo 2
• Erforschung der Fähigkeiten von Olmo 2
• Erstellen eines Chatbots mit Olmo 2
• Schlussfolgerung
• häufig gestellte Fragen

Die Nachfrage nach Open-Source-LLMs

Die anfängliche Dominanz von proprietären LLMs äußerte Bedenken hinsichtlich Zugänglichkeit, Transparenz und Voreingenommenheit. Open-Source LLMs befassen sich mit diesen Problemen, indem sie die Zusammenarbeit fördert und die Prüfung, Änderung und Verbesserung ermöglicht. Dieser offene Ansatz ist von entscheidender Bedeutung, um das Feld voranzutreiben und einen gerechten Zugang zur LLM -Technologie zu gewährleisten.

Das Olmo -Projekt von Allen Institute for AI (AI2) veranschaulicht dieses Engagement. Olmo 2 geht über die einfache Freisetzung von Modellgewichten hinaus; Es bietet die Schulungsdaten, Code, Schulungsrezepte, Zwischenprüfpunkte und Anweisungsmodelle. Diese umfassende Veröffentlichung fördert die Reproduzierbarkeit und weitere Innovation.

olmo 2

verstehen

olmo 2 verbessert sich signifikant auf seinen Vorgänger OLMO-0424. Die Parametermodelle von 7B und 13B zeigen die Leistung, die mit oder übertroffenen, ähnlich offenen Modellen vergleichbar ist oder überschreiten, sogar mit offenen Modellen wie Lama 3.1 auf englischen akademischen Benchmarks-eine bemerkenswerte Leistung unter Berücksichtigung der reduzierten Trainingsflops.

wichtige Verbesserungen umfassen:

• Wesentliche Leistungssteigerungen: olmo-2 (7b und 13b) zeigt eine deutliche Verbesserung gegenüber früheren OLMO-Modellen, was auf Fortschritte in der Architektur-, Daten- oder Schulungsmethode hinweist.
• wettbewerbsfähig mit MAP-NEO-7B: olmo-2, insbesondere der 13b-Version, erzielt mit MAP-NEO-7B vergleichbar, eine starke Grundlinie unter vollständig offenen Modellen.

olmo 2's Trainingsmethodik

Die Architektur von

Olmo 2 baut auf dem ursprünglichen Olmo auf und enthält Verfeinerungen für eine verbesserte Stabilität und Leistung. Der Schulungsprozess umfasst zwei Phasen:

1. Foundation Training: Verwendet den Olmo-Mix-1124-Datensatz (ungefähr 3,9 Billionen Token aus verschiedenen offenen Quellen), um eine robuste Grundlage für das Sprachverständnis zu schaffen.
2. Verfeinerung und Spezialisierung: verwendet den Datensatz von Dolmino-MIX-1124, eine kuratierte Mischung aus hochwertigen Webdaten und domänenspezifischen Daten (akademische Inhalte, Q & A-Foren, Unterrichtsdaten, Mathematik-Arbeitsbücher), um das Wissen und die Fähigkeiten des Modells zu verfeinern. "Modellsubing" verbessert den endgültigen Checkpoint weiter.

Offenheit in LLMs

Da OLMO-2 ein vollständig geöffnetes Modell ist, klären wir die Unterscheidungen zwischen verschiedenen Ebenen der Modelloffenheit:

• Open-Gewicht-Modelle: Nur die Modellgewichte werden freigegeben.
• teilweise geöffnete Modelle: einige zusätzliche Informationen über die Gewichte hinaus veröffentlichen, aber kein vollständiges Bild des Trainingsprozesses.
• Voll öffne Modelle: Geben Sie eine vollständige Transparenz an, einschließlich Gewichte, Trainingsdaten, Code, Rezepte und Kontrollpunkten. Dies ermöglicht eine vollständige Reproduzierbarkeit.

Eine Tabelle, die die Schlüsselunterschiede zusammenfasst, finden Sie unten.

Feature	Open Weight Models	Partially Open Models	Fully Open Models
Weights	Released	Released	Released
Training Data	Typically Not	Partially Available	Fully Available
Training Code	Typically Not	Partially Available	Fully Available
Training Recipe	Typically Not	Partially Available	Fully Available
Reproducibility	Limited	Moderate	Full
Transparency	Low	Medium	High

Erforschen und Ausführen von Olmo 2 lokal

olmo 2 ist leicht zugänglich. Anweisungen zum Herunterladen des Modells und der Daten sowie der Trainingscode und der Bewertungsmetriken sind verfügbar. Verwenden Sie Ollama, um Olmo 2 lokal zu leiten. Führen Sie nach der Installation einfach ollama run olmo2:7b in Ihrer Befehlszeile aus. Notwendige Bibliotheken (Langchain und Gradio) können über Pip.

installiert werden

Erstellen eines Chatbots mit Olmo 2

Der folgende Python -Code zeigt, dass ein Chatbot mit Olmo 2, Gradio und Langchain:

erstellt wird:

import gradio as gr
from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM

def generate_response(history, question):
    template = """Question: {question}

    Answer: Let's think step by step."""
    prompt = ChatPromptTemplate.from_template(template)
    model = OllamaLLM(model="olmo2")
    chain = prompt | model
    answer = chain.invoke({"question": question})
    history.append({"role": "user", "content": question})
    history.append({"role": "assistant", "content": answer})
    return history

with gr.Blocks() as iface:
    chatbot = gr.Chatbot(type='messages')
    with gr.Row():
        with gr.Column():
            txt = gr.Textbox(show_label=False, placeholder="Type your question here...")
    txt.submit(generate_response, [chatbot, txt], chatbot)

iface.launch()

Dieser Code bietet eine grundlegende Chatbot -Schnittstelle. Auf dieser Grundlage können ausgefeiltere Anwendungen aufgebaut werden. Beispielausgaben und Eingabeaufforderungen sind im ursprünglichen Artikel angezeigt.

Schlussfolgerung

olmo 2 stellt einen signifikanten Beitrag zum Open-Source-LLM-Ökosystem dar. Die starke Leistung in Kombination mit seiner vollständigen Transparenz macht es zu einem wertvollen Instrument für Forscher und Entwickler. Obwohl sie nicht allgemein überall über alle Aufgaben hinausging, fördert ihre offene Natur die Zusammenarbeit und beschleunigt den Fortschritt im Bereich der zugänglichen und transparenten Ai.

Key Takeaways:

Olmo-2s 13B-Parametermodell zeigt eine hervorragende Leistung bei verschiedenen Benchmarks und übertreffen andere offene Modelle.
Vollständige Modelloffenheit erleichtert die Entwicklung effektiverer Modelle.
Das Chatbot -Beispiel zeigt die einfache Integration mit Langchain und Gradio.

häufig gestellte Fragen (FAQs)

(Die FAQs aus dem ursprünglichen Artikel sind hier enthalten.)

(Hinweis: Bild -URLs bleiben unverändert.)

Das obige ist der detaillierte Inhalt vonLaufen OLMO-2 vor Ort mit Gradio und Langchain. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!