Die Parameterleistung von 2B übertrifft Mistral-7B: Wandorientiertes, intelligentes, multimodales End-Side-Modell, Open Source

Qianyuan Machine kann auch lokal betrieben werden.

In letzter Zeit haben Menschen mit der Entwicklung großer Modelle hin zu großen Volumina Ergebnisse bei der Optimierung und Bereitstellung erzielt.

Am 1. Februar haben Wall-Facing Intelligence und das Tsinghua NLP Laboratory in Peking offiziell das Flaggschiff-End-to-Side-Großmodell „Wall-Facing MiniCPM“ veröffentlicht. Diese neue Generation großer Modelle wird als „Performance Small Steel Cannon“ bezeichnet. Sie kann nicht nur direkt am Terminal eingesetzt werden, sondern verfügt auch über die stärksten multimodalen Fähigkeiten auf demselben Niveau. Dadurch erhalten Benutzer ein schnelleres und effizienteres Smart-App-Erlebnis.

Das neueste von Face Wall Intelligence eingeführte MiniCPM 2B-Modell verfügt über nur 2 Milliarden Parameter und wird mithilfe ausgewählter Daten des 1T-Tokens trainiert. Im Vergleich zum 2018 veröffentlichten BERT-Modell verfügt dieses Modell über die gleiche Anzahl von Parametern, Wall-Facing Intelligence hat jedoch extreme Anstrengungen zur Leistungsoptimierung und Kostenkontrolle unternommen, sodass dieses Modell den Effekt des „Überspringens und Tötens von Monstern“ erzielen kann der Leistung.

Li Dahai, Mitbegründer und CEO von Wall-Facing Intelligence, verglich das neue Modell mit Mistral-7B, einem in der Branche bekannten Open-Source-Großmodell. MiniCPM 2B übertraf letzteres in mehreren Mainstream-Bewertungen Listen.

Im Vergleich zum kürzlich von Microsoft vorgeschlagenen „kleinen Modell“ Phi-2 bietet MiniCPM auch große Vorteile.

Li Dahai wies darauf hin, dass das neue Modell der Wandintelligenz das Potenzial hat, hinsichtlich der Fähigkeiten eine sprunghafte Implementierung zu erreichen und die Fähigkeiten der 13B-, 30B- oder sogar 40B-Modelle erreichen kann. Bei der Bewertung mit MT-Bench, der Bewertungsliste, die der Benutzererfahrung am nächsten kommt, erzielte MiniCPM 7 Punkte (im Vergleich dazu erzielte GPT-4-Turbo 9 Punkte).

Vor Ort demonstrierte Wall-Facing Intelligence auch den praktischen Anwendungseffekt von MiniCPM. Obwohl die Anzahl der Parameter gering ist, verfügt das Modell über viele Funktionen wie Textübersetzung und Rollenspiele, die ein großes Modell haben sollte, und es verfügt über umfangreiches Wissen. Das Modell kann selbst schwierige Code-Interpretationsaufgaben bewältigen.

Da MiniCPM geräteseitig eingesetzt werden kann, kann es Menschen auch in Notfällen zeitnah helfen:

Kürzlich haben verschiedene Mobiltelefonhersteller groß angelegte kundenseitige Modelle vorgeschlagen Das große Sprachmodell wird auf eine kleinere Größe komprimiert. Wir können es verwenden, um eine Verbindung zu mehr Szenarien herzustellen und trotz begrenzter Rechenleistung und Speicher einen höheren Grad an Intelligenz zu erhalten. Im Gegensatz dazu ist die von Wall-Facing Intelligence vorgeschlagene neue Technologie leichter und kann auf Mobiltelefone mit niedrigerer Konfiguration oder frühere Modelle angewendet werden.

Laut Face Wall Intelligence wurde das MiniCPM-Endseitenmodell einer Int4-Quantisierung unterzogen und um 75 % komprimiert, sodass es nur 2 GB Speicher belegt. Gleichzeitig gibt es nahezu keinen Leistungsverlust auf verschiedenen gängigen Mobiltelefonmodellen implementiert.

Da MiniCPM die mobile CPU-Inferenz unterstützt, kann es die Nutzungskosten erheblich senken. Face Wall Intelligence hat für uns ein Konto berechnet: Ein mit Snapdragon 855 ausgestattetes Mobiltelefon kann mit MiniCPM 1,7 Millionen Token für einen Dollar Strom verarbeiten. Dieser Preis beträgt nur 1 % von Mistral-Medium, das in der Cloud läuft.

Neben endseitigen Modellen demonstrierte Wall Intelligence auch seine Erforschung multimodaler großer Modelle und stellte den 12B-Parameter OmniLMM als Open-Source-Lösung zur Verfügung. Auf der Pressekonferenz führte Facewall Intelligence die gleiche Stein-Schere-Papier-Demo vor, als Gemini veröffentlicht wurde. Fragen Sie die KI auf Englisch: Welches Spiel spiele ich? Das große Modell würde antworten: Stein, Papier, Schere.

Gleichzeitig kann OmniLMM auch menschliche Gesten erkennen und Ihnen sagen, was Sie spielen müssen, wenn Sie gewinnen möchten.

OmniLMM kann auch Informationen in vielen Bildern verstehen und darüber nachdenken, wie z. B. Wahrzeichen von Gebäuden, Logos von Fernsehsendern, von Menschen organisierte Aktivitäten usw.

Es scheint, dass wir nicht mehr weit von wirklich multimodalen Großmodellen und der Anwendung neuer Formen entfernt sind.

Die ultimative Leistung des smarten Großmodells für die Wandmontage resultiert aus der langfristigen Technologieakkumulation des Unternehmens. Seit 2021 hat Wallface Intelligence einen effizienten Technologie-Stack aufgebaut, der sich auf die drei Richtungen Infrastruktur, Algorithmen und Datenmethodik konzentriert. Darunter ist das selbst entwickelte effiziente Trainingsrahmenwerk BMTrain von entscheidender Bedeutung.

Auf der Algorithmusebene hat Wall-Facing Intelligence auch ein Modell-Sandbox-System aufgebaut, das große Modelle von der Alchemie auf die Ebene der experimentellen Wissenschaft gehoben hat und theoretisch ständig nach optimalen Lösungen für Hyperparameter und Skalierung sucht B. die optimale Stapelgröße und die Hyperparameterkonfiguration, die allen Größenmodellen gemeinsam ist.

Derzeit hat Wall-Facing Intelligence eine große Menge hochwertiger Daten gesammelt. Nach der gestrigen Veröffentlichung hat Face Wall Intelligence seine große Modellreihe der neuen Generation (einschließlich MiniCPM-SFT / DPOMiniCPM-V und MiniCPM-SFT / DPO-int4) sowie die Datenrezepte für die beiden Trainingsstufen MiniCPM als Referenz für die Branche als Open Source bereitgestellt .

Open-Source-Adresse (einschließlich technischem Bericht):

MiniCPM GitHub: https://github.com/OpenBMB/MiniCPM

OmniLMM GitHub: https://github.com/OpenBMB/OmniLMM

Wandbezogene Intelligenz entsteht von Tsinghua NLP Das Labor ist eines der ersten Teams, das große Modellforschung in China durchführt. Im Jahr 2018 veröffentlichte es das weltweit erste Pre-Training-Modell ERNIE, das auf Wissensanleitung basiert. Face Wall Intelligence, das im August 2022 seinen Geschäftsbetrieb aufnahm, erlebte im vergangenen Jahr zwei Finanzierungsrunden und seine Anwendung „Mian Wall Luka“ erhielt auch die zweite Charge großer Modellregistrierungen von der Cyberspace Administration of China.

Derzeit hat Wall-Facing Intelligence ein wissenschaftliches Forschungsteam mit mehr als 100 Personen aufgebaut, von denen 80 % aus Qingbei stammen und ein Durchschnittsalter von 28 Jahren haben.

Wall-face Intelligence entwickelt eine Dual-Engine-Strategie aus großem Modell und Agent, in der Hoffnung, eine kleinere, schnellere und kostengünstigere Lösung zu entwickeln.

In diesem Jahr wird Wall-Facing Intelligence auch die Iteration neuer Technologien beschleunigen. „Wir werden nach dem Frühlingsfest weiterhin neue Versionen von MiniCPM veröffentlichen und die Leistung weiter verbessern. Wir möchten während des Frühlingsfestes allen eine Pause gönnen“, sagte Liu Zhiyuan.

Das obige ist der detaillierte Inhalt vonDie Parameterleistung von 2B übertrifft Mistral-7B: Wandorientiertes, intelligentes, multimodales End-Side-Modell, Open Source. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!