Warum sind kleine Sprachmodelle das nächste große Ding in der KI-Welt?

Übersetzer |. Bugatti

Rezensent |. Im KI-Bereich streben

Tech-Giganten immer stärker an

Sprachmodelle, jetzt haben einen überraschenden neuen Trend: kleinist groß. Da der Fortschritt bei großen Sprachmodellen (LLM) Anzeichen einer Stagnation zeigt , wenden sich Forscher und Entwickler zunehmend kleinen Sprachmodellen (SLM) zu. Dieses kompakte, effiziente, anpassungsfähige KI-Modell ist eine Herausforderung das Konzept je größer ist besser und wird voraussichtlich die Art und Weise mit der KI-Entwicklung umgehen verändern. Beginnt LLM zu stagnieren? Der kürzlich veröffentlichte Leistungsvergleich Ergebnisse von V

ellum

und

HuggingFace zeigen, dass sich die Leistungslücke zwischen LLMs schnell schließt. Dieser Trend

zeigt sich besonders deutlich

bei bestimmten Aufgaben wie Multiple-Choice-Fragen, Argumentations- und Mathematikaufgaben ; LeistungDer Unterschied ist minimal. Zum Beispielbei Multiple-Choice-Fragen sind die Genauigkeit von Claude 3 Opus, GPT-4 und Gemini Ultra alle 83% Oben , Während der Inferenzaufgabe übersteigt die Genauigkeit von Claude 3 Opus, GPT-4 und Gemini 1.5 Pro 92 %. bedeutet , dass auch kleinere Modelle (wie Mixtral 8x7B und Llama 2 - 70B ). )in einigen Aspekten wurden auch gezeigt

überraschende Ergebnisse, wie Argumentation und Multiple-Choice-Fragen In diesen Aspekten übertraf das kleine Modell einige große Modelle . Dies deutet darauf hin, dass die Modellgröße möglicherweise nicht der einzige Faktor ist, der die Leistung bestimmt, sondern dass auch andere Aspekte wie Architektur, Trainingsdaten und Feinabstimmungstechniken eine wichtige Rolle spielen können. Uber ehemaliger Leiter von AI und Autor des Buches „Rebooting AI“Gary Marcus sagte: ​​„ Wenn schauen Sie sich das an ein Dutzend Aktuelle Artikel, sie liegen im Allgemeinen auf dem gleichen Niveau wie GPT-4. ""Rebooting Artificial Intelligence" Beschreibt, wie man eine vertrauenswürdige

KI aufbaut. Marcus wurde am Donnerstag von IT-Auslandsmedien „VentureBeat“ interviewt. "Einiges davon ist ein wenig besser als GPT-4, aber kein großer Sprung. Ich denke, jeder wird sagen: GPT-4 ist besser als GPT- 3.5 Es ist ein großer Fortschritt „ fuhr fort Mit dem Leistungsunterschied schrumpfen Mehr Modelle zeigen ziemlich konkurrenzfähige Ergebnisse, was die Frage aufwirft, ob LLM wirklich anfängt zu zu stagnieren. Wenn sich dieser Trend fortsetzt, kann dies erhebliche Auswirkungen auf die zukünftige Entwicklung und den Einsatz von Sprachmodellen haben, und

der Fokus der Menschen könnte sich von der blinden zunehmenden Modellgröße hin zur effektiveren Erkundung , verlagern spezialisiertere umzäunte Architektur . Nachteile der

L-Methode Erstens erfordert das Training von LLM eine große Datenmenge, die Milliarden oder sogar Billionen von Parametern erfordert. Dies macht den Trainingsprozess extrem ressourcenintensiv, und die Rechenleistung

und der Energieverbrauch

, die für das Training und Laufen LLM erforderlich sind, sind ebenfalls atemberaubend. Dies hat zu hohen Kosten geführt, was es für kleine Organisationen oder Einzelpersonen schwierig macht, sich an der Kernentwicklung des LLM zu beteiligen. Bei einer Veranstaltung, die vom MIT letztes Jahr organisiert wurde, erklärte OpenAI CEO Sam Altman, dass Training GPT-4 mindestens 1 kosten würde Milliarden US-Dollar. Die Komplexität der Tools und Techniken , die für den Umgang mit LLM erforderlich sind stellt auch eine steile Lernkurve vor die Entwickler , was die Zugänglichkeit weiter einschränkt. Von der Modellschulung bis zum Aufbau und der Bereitstellung stehen Entwickler vor einem langen Zyklus, der die Entwicklung und

Experimente

verlangsamt. Ein aktuelles Papier der Universität Cambridge zeigt, dass Unternehmen , die ein einziges Modell für maschinelles Lernen einsetzen, 90 Tage oder länger Zeit in Anspruch nehmen können. . Ein weiteres wichtiges Problem bei LLMs ist, dass sie dazu neigen, zu halluzinieren – Ergebnisse zu erzeugen, die vernünftig aussehen, aber nicht wirklich real sind. Dies ist auf die Art und Weise zurückzuführen, wie LLM darauf trainiert wird, das nächstwahrscheinlichste Wort basierend auf Mustern in den Trainingsdaten vorherzusagen, anstatt Informationen wirklich zu kennen . So kann LLM getrost falsche Aussagen machen, Fakten erfinden oder unzusammenhängende Konzepte auf lächerliche Weise kombinieren. Das Erkennen und Abmildern dieses „Illusionsphänomens“ ist ein seit langem bestehendes Problem bei der Entwicklung zuverlässiger Sprachmodelle. Marcus warnt: „Wenn Sie LLM verwenden, um erhebliche

Probleme zu lösen, wollen Sie Ihre Kunden nicht beleidigen. , falsche medizinische Behandlung erhalten Informationen oder Nutzung. Das ist immer noch ein Problem. Der Output ist entscheidend für den Vertrauensaufbau . Verzerrungen bei Trainingsdaten und -algorithmen können zu unfairen, ungenauen oder sogar schädlichen Ergebnissen führen. Wie wir in Google Gemini gesehen haben, verringert die gleiche Technologie, die LLM „ sicher “ und zuverlässig macht, auch seine Wirksamkeit. Darüber hinaus gibt die konzentrierte Natur von LLMs Bedenken hinsichtlich der Konzentration von Macht und Kontrolle in den Händen einiger weniger großer Technologieunternehmen.

Kleines Sprachmodell(SLM) kommt auf die BühneDiesmal kommt das kleine Sprachmodell auf die Bühne. SLM ist eine optimierte Version von LLM, mit weniger Parametern und einfacherem Design. Die von ihnen benötigten

Daten und Schulungen Zeit sind kürzer, nur Minuten oder Stunden, während LLM Tage dauert. Dies macht die SLM-Bereitstellung auf lokalen oder kleinen Geräten effizienter und einfacher. Einer der Hauptvorteile von SLMs besteht darin, dass sie für spezifische Anwendungsumgebungen geeignet sind. Weil sie sich auf einen engeren Bereich konzentrieren und weniger Daten erfordern, sind sie leichter auf eine bestimmte Domäne oder Aufgabe abzustimmen als

große allgemeine Modelle. Diese Anpassung ermöglicht es Unternehmen, SLMs zu erstellen, die für ihre spezifischen Anforderungen sehr effektiv sind, wie z. B. Stimmungsanalyse , Erkennung benannter Entitäten oder domänenspezifische Fragenbeantwortung. Im Vergleich zur Verwendung von Allzweckmodellen können die speziellen Funktionen von SLM

seine Leistung und Effizienz in diesen Zielanwendungsumgebungen verbessern.

Ein weiterer Vorteil von SLM ist das Versprechen einer verbesserten Privatsphäre und Sicherheit. Mit einer kleineren Codebasis und einer einfacheren Architektur ist SLM einfacher zu prüfen und weist weniger wahrscheinlich unerwartete Schwachstellen auf. Dies macht sie attraktiv für Anwendungen Umgebungen, in denen sensible Daten verarbeitet werden, wie im Gesundheitswesen oder im Finanzwesen, wo ein Datenschutzverstoß schwerwiegende Folgen haben könnte. Darüber hinaus weisen SLMs geringere Rechenanforderungen auf, sodass sie sich besser für die Ausführung auf lokalen Geräten oder lokalen Servern eignen, anstatt auf eine Cloud-Infrastruktur angewiesen zu sein. Diese lokale Verarbeitung kann die Datensicherheit weiter verbessern und das Risiko verringern, dass Daten während der Übertragung offengelegt werden. Im Vergleich zu LLM ist SLM weniger anfällig für unentdeckte Halluzinationen in bestimmten Bereichen. SLMs werden typischerweise unter Verwendung von engeren, zielgerichteteren Datensätzen trainiert, die einzigartig für die beabsichtigte Domäne oder Anwendungsumgebung sind, was dem Modell hilft, die für seine Aufgabe und Informationen relevantesten Muster und Vokabeln zu lernen. Dies

verringert

die Chance , irrelevante, unerwartete oder inkonsistente Ergebnisse zu generieren. Aufgrund der Verwendung weniger Parameter und einer schlankeren Architektur ist SLM weniger anfällig für die Erfassung und Verstärkung von Rauschen oder Fehlern in den Trainingsdaten. Clem Delangue, CEO von HuggingFace, einem KI-Startup im Frühstadium, sagte, dass bis zu 99 % der Anwendungsfälle mit SLM gelöst werden können, und prognostizierte, dass 2024 das Jahr von SLM sein wird. Die Plattform von HuggingFace ermöglicht es Entwicklern , Modelle für maschinelles Lernen zu erstellen, zu trainieren und bereitzustellen, und das Unternehmen gab Anfang des Jahres eine strategische Partnerschaft mit Google bekannt. Anschließend integrierten die beiden Unternehmen HuggingFace in Googles Vertex AI, sodass Entwickler schnell Tausende von Modellen über Googles Vertex Model Garden bereitstellen können. Google Gemma gewinnt an Bedeutung

Nachdem

LLMs zunächst den Vorteil von LLM an OpenAI abgetreten hat, greift Google aktiv darauf zu SLM-Möglichkeiten. Bereits im Februar brachte Google Gemma auf den Markt, eine neue Familie kleiner Sprachmodelle, die die Effizienz und Benutzerfreundlichkeit verbessern sollen. Wie andere SLMs können Gemma-Modelle auf einer Vielzahl gängiger

Geräte wie Smartphones, Tablets oder Laptops laufen, ohne dass spezielle Hardware oder

umfassendeOptimierung erforderlich ist.

Seit der Veröffentlichung von Gemma wurde das trainierte Model letzten Monat über 400.000 Mal auf HuggingFace heruntergeladen, und es sind mehrere Befehle aufgetaucht . Spannendes Projekt. Beispielsweise ist Cerule ein funktionsstarkes Bild- und Sprachmodell, das Gemma 2B und Googles SigLIP kombiniert und mithilfe umfangreicher Datensätze von Bildern und Text trainiert wird. Cerule nutzt effiziente Datenauswahltechniken, um eine hohe Leistung zu erzielen, ohne dass große Datenmengen oder Berechnungen erforderlich sind. Dies bedeutet, dass Cerule gut für neue Edge-Computing-Anwendungsfälle geeignet sein könnte.

Ein weiteres Beispiel ist CodeGemma, eine spezielle Version von Gemma, die sich auf CodierungProgrammierung und mathematisches Denken konzentriert. CodeGemma bietet drei verschiedene Modelle für verschiedene programmierbezogene Aktivitäten, wodurch fortgeschrittene Programmiertools für Entwickler zugänglicher und effizienter werden. Das riesigePotenzial von Während die KI-Community weiterhin das Potenzial kleiner Sprachmodelle, schnellerer Entwicklungszyklen, größerer Effizienz und der Fähigkeit erforscht bis Vorteile wie die Anpassung von Modellen

an spezifische Bedürfnisse werden immer offensichtlicher. Es wird erwartet, dass SLM

kostengünstige bringt, zielgerichtete Lösungen durch bietet, den Zugang zu KI populär macht und Brancheninnovationen vorantreibt. Der Einsatz von SLM am Edge eröffnet neue Möglichkeiten für Echtzeit-, personalisierte und sichere -Anwendungen in Branchen

wie Finanzen, Unterhaltung, Automobilsysteme, Bildung, E-Commerce und Gesundheitswesen.

Durch die lokale Verarbeitung von Daten und die Reduzierung der Abhängigkeit von der Cloud-Infrastruktur kann Edge Computing in Kombination mit SLM die Reaktionszeiten verbessern, den Datenschutz verbessern und das Benutzererlebnis verbessern. Dieser dezentrale KI-Ansatz verspricht , die Art und Weise, wie Unternehmen und Verbraucher mit Technologie interagieren, zu verändern und so mehr mehr in der realen Welt zu schaffen. Intuitive Erfahrung. Da LLM vor Herausforderungen im Zusammenhang mit Rechenressourcen steht und möglicherweise auf Leistungsengpässe stößt, wird erwartet, dass der Aufstieg von LLM es dem KI-Ökosystem ermöglichen wird, sich weiterhin mit erstaunlicher Geschwindigkeit zu entwickeln. Originaltitel: Warum kleine Sprachmodelle das nächste große Ding in der KI sind

, Autor: James Thomason

Das obige ist der detaillierte Inhalt vonWarum sind kleine Sprachmodelle das nächste große Ding in der KI-Welt?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!