Lokale KI mit Chrome API

Es ist üblich, dass die meisten Produkte, die künstliche Intelligenz (KI) verwenden, dies durch den Verbrauch einer API tun, die wiederum eine Verbindung zu einem Server herstellt, um die Ergebnisse an das Web zurückzugeben. Dies ist sehr sinnvoll, wenn die Aufgaben intensiv sind und viel Rechenleistung erfordern.

Aber gibt es eine effizientere Option für einfache Aufgaben?

Das Chrome-Team hat experimentell eine API gestartet, die es Ihnen ermöglicht, lokal mit dem Gemini Nano-Modell zu interagieren. Dadurch entfällt die Notwendigkeit, für komplexe Aufgaben größere Modelle wie das Gemini Pro 1.5 zu verwenden.

Hauptunterschiede

1. Lokale Integration: Es ist nicht erforderlich, das Modell bereitzustellen. Da es direkt in den Browser integriert ist, ist es für die Verwaltung von Downloads, Updates und Verbesserungen zuständig. Der Entwickler muss sich nur um die Integration in seine Anwendung kümmern.

2. Effizienz beim Herunterladen: Dadurch, dass die Anwendung das Modell nicht herunterladen muss, wird die Effizienz verbessert. Selbst kleine Modelle können im Webkontext groß sein. Beispielsweise wiegt das Transformer.js-Modell etwa 60 MB.

3. Verbesserte Leistung: Diese lokale Integration ermöglicht den Zugriff auf Geräteressourcen wie die GPU, was die Leistung erheblich verbessert.

Vorteile der lokalen Ausführung eines Modells

• Einsparung von Anrufen an den Server: Durch die Vermeidung ständiger Abfragen an den Server wird die Webanwendung effizienter und reduziert Wartezeiten.

• Datenschutz: Die Daten verbleiben auf dem Gerät, was eine zusätzliche Sicherheitsebene bietet, da sie nicht an externe Server gesendet werden müssen.

• Offline-Nutzung: Nach dem Herunterladen ist das Modell auf dem Gerät verfügbar, sodass es ohne Internetverbindung verwendet werden kann.

Hybride Architekturen

Obwohl das lokale Modell effizient ist, können wir den Server nicht vollständig verwerfen. Dies wird weiterhin erforderlich sein, um komplexere Aufgaben zu bearbeiten. Der Schlüssel besteht darin, den „Sweet Spot“ zu finden, d. h. den optimalen Punkt, an dem bestimmt wird, wann ein lokales Modell verwendet und wann auf den Server zurückgegriffen werden sollte.

Darüber hinaus können integrierte Modelle als Backup bei Serverausfällen oder fehlender Internetverbindung dienen.

Einschränkungen

Da es sich um ein kleines Modell handelt und für die Ausführung im Browser optimiert ist, ist die Kapazität begrenzter. Der Einsatz empfiehlt sich vorerst für konkrete Aufgaben wie Übersetzungen, Zusammenfassungen oder Textverbesserungen. Diese Arten von Modellen werden als „Expertenmodelle“ bezeichnet, da sie für bestimmte Aufgaben effizienter sind.

Nehmen Sie am Experimentalprogramm teil

Wenn Sie diese API ausprobieren möchten, können Sie dem experimentellen Programm beitreten, indem Sie das Formular unter diesem Link ausfüllen. Sie erhalten Zugriff auf die Dokumentation und eine Google-Gruppe, in der Sie über Aktualisierungen und Änderungen der API informiert bleiben können.

Erfahren Sie im folgenden Beitrag, wie Sie mit der Nutzung dieser API und den verfügbaren Funktionen beginnen.

Das obige ist der detaillierte Inhalt vonLokale KI mit Chrome API. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!