Das größte Open-Source-Modell in China wird zur bedingungslosen kostenlosen kommerziellen Nutzung freigegeben! 65 Milliarden Parameter, Training basierend auf 2,6 Billionen Token

Das größte Open-Source-Modell in China ist da:

65 Milliarden Parameter, trainiert auf Basis von 2,6-3,2 Billionen Token.

Nach „Falcon“ und „Alpaca“ liegt es an zweiter Stelle, seine Leistung ist mit GPT3.5 vergleichbar und es kann jetzt für die

bedingungslose kostenlose kommerzielle Nutzung verwendet werden.

Es ist XVERSE von der Shenzhen Yuanxiang Company.

Wir können es entsprechend unterschiedlicher Rechenleistung, Ressourcenbeschränkungen und spezifischen Aufgabenanforderungen frei modifizieren oder destillieren.

Zusätzlich zu seinem großen Umfang verfügt es auch über 16.000 Kontexte, unterstützt mehr als 40 Sprachen und ist in den Versionen 7B und 13B verfügbar.

Was ist der konkrete Ursprung?

Das größte kommerziell erhältliche Großmodell in China ist da

Untersuchungen zeigen, dass die Leistung des Großmodells umso kontinuierlich verbessert werden kann, je höher die Anzahl der Parameter und je hochwertiger die Trainingsdaten sind.

Der allgemeine Konsens in der Branche besteht darin, dass große Modelle erst dann „intelligent entstehen“ können, wenn die Parameterschwelle von 50 bis 60 Milliarden erreicht ist und eine starke Leistung bei Multitasking-Aufgaben zeigen kann.

Das Training eines Modells dieser Größenordnung ist jedoch teuer und erfordert hohe technische Fähigkeiten. Derzeit wird es hauptsächlich als kostenpflichtiges Closed-Source-Modell bereitgestellt.

Im ausländischen Open-Source-Ökosystem sind Benchmark-Modelle wie Llama2-70B und Falcon-180B „bedingt“ Open Source, mit kommerziellen Obergrenzen für monatliche aktive Benutzer oder Einnahmen und weisen aufgrund mangelnder chinesischer Sprachkenntnisse offensichtliche Mängel auf Trainingsdaten.

Um das Open-Source-Ökosystem und die industrielle Anwendungsentwicklung inländischer Großmodelle zu fördern, kündigte die Yuanxiang XVERSE Company das Open-Source-Hochleistungs-Großmodell XVERSE-65B mit 65 Milliarden Parametern für die bedingungslose kostenlose kommerzielle Nutzung an. Das 13B-Modell wurde vollständig aufgerüstet, um die Obergrenze der Fähigkeiten des „kleinen“ Modells zu erhöhen.

Yao ​​wie Chinesisch, Englisch, Russisch und Französisch.

Deutlich verbesserte

drei Fähigkeiten

1. Grundlegende Fähigkeiten wie Verständnis, Generierung, Argumentation und Gedächtnis, von ausgezeichnet bis leistungsstark 2 , Codeerklärung, Reflexion und Korrektur sowie andere Funktionen legen eine technische Grundlage für den Aufbau intelligenter Agenten(KI-Agent)

und verbessern die Praktikabilität des Modells;

Dritten: Linderung der häufigen und potenziell schwerwiegenden Halluzinationsprobleme in 7B und 13B erheblich. und reduzieren Sie den „Bullshit“ großer Modelle für mehr Genauigkeit und Professionalität.

Die großen Yuanxiang-Modellreihen sind alle selbst entwickelt und decken eine Reihe von Schlüsseltechnologien und F&E-Innovationen ab:

1. Komplexes verteiltes Systemdesign:

Lernen Sie vom Team, Tencent Go AI „Peer Art“ zu entwickeln King of Glory AI „Mit umfangreicher Erfahrung in großen Systemen wie „Juewu“ verfügen wir über selbst entwickelte Schlüsseltechnologien wie effiziente Operatoren, Speicheroptimierung, parallele Planungsstrategien, Daten-Computing-Kommunikationsüberlappung sowie Plattform- und Framework-Zusammenarbeit Ein effizientes und stabiles Trainingssystem. Der Spitzenwert des Kilokalorien-Clusters. Die Rechenleistungsauslastung erreicht 58,5 % und gehört zu den Spitzenreitern der Branche.

2. Umfassende Leistungsverbesserung:

FlashAttention2 wird verwendet, um Berechnungen im 65B-Training zu beschleunigen, und die virtuelle Pipeline

(virtuelle Pipeline)Technologie wird auf der Basis von 3D-Parallelität verwendet, um die durch lange Pipelines erzeugte übermäßige Blasenrate zu reduzieren und die Effizienz des rechnerischen Denkens verbessern; Die Länge des Kontextfensters wurde schrittweise von 8 KB auf 16 KB erhöht, was es nicht nur ermöglicht, komplexe Aufgaben, einschließlich des Verstehens langer Texte, der Generierung langer Texte und extrem langer Konversationen, erfolgreich abzuschließen, sondern auch erweitert wird Tool-Aufruf, Code-Erklärung sowie Reflexions- und Korrekturfunktionen, die es ermöglichen, den Intelligenzkörper (KI-Agent) besser aufzubauen.

3. Trainingsstabilität extrem verbessern: Aufgrund des enormen Rechenaufwands sind Kommunikationsüberlastung, Chipüberhitzung oder Rechenknotenausfälle zur Norm beim 65B-Training geworden Woche.

Durch kontinuierliche Optimierung des Betriebs der Cluster-Infrastruktur, der Ressourcenplanung, des Trainingsrahmens und der Zusammenarbeit mit der Planungsplattform hat Yuanxiang ein äußerst stabiles, unterbrechungsarmes und äußerst fehlertolerantes Trainingssystem geschaffen und die wöchentliche effektive Trainingsrate auf 98,6 % erhöht.

Außerdem erzeugte die Verlustfunktion mitten im Modelltraining mit fast 1,6 Billionen Token NaN-Werte, was zu Trainingsunterbrechungen führen kann.

Normalerweise löscht die Industrie nach der Analyse grundsätzlich die relevanten Datenintervalle.

Das Team stellte aufgrund seiner Erfahrung fest, dass dies die natürliche Entwicklung des Modells war. Es entschied sich, die Daten nicht zu löschen und übersprang direkt die relevanten Parameteraktualisierungen. Schließlich wurde das NaN-Wertproblem gelöst.

Eine weitere Analyse von Zwischenzuständen wie Parameterwerten, Aktivierungswerten und Gradientenwerten zeigte später, dass dieses Problem möglicherweise mit der Änderung des Maximalwerts des Aktivierungswerts des Transformatorblocks in der letzten Schicht des Modells zusammenhängt und wird von selbst aufgelöst, wenn der Maximalwert allmählich abnimmt.

Leistung vergleichbar mit GPT3.5

Um sicherzustellen, dass die Branche ein umfassendes, objektives und langfristiges Verständnis der Leistung des Yuanxiang-Großmodells erhalten kann, haben die Forscher auf eine Reihe maßgeblicher akademischer Bewertungen zurückgegriffen und ein System entwickelt Die Themen umfassen Frage und Antwort, Verständnis, Wissen, Argumentation und Mathematik. Die 11 gängigen maßgeblichen Bewertungsstandards in sechs Dimensionen, einschließlich Code, werden weiterhin verwendet und iteriert.

XVERSE-65B hat in China kein vergleichbares Modell, das mit ausländischen Benchmarks verglichen werden kann, einige Indikatoren übertrafen es und seine Gesamtleistung war mit GPT3.5 vergleichbar; Benchmarks Llama2-70B und Falcon-180B; und GPT4 hat immer noch eine Lücke.

Der vollständig aktualisierte XVERSE-13B-2 fügt im Vergleich zu Modellen gleicher Größe eine große Menge hochwertiger Daten hinzu. Die Trainingsdaten erreichen 3,2 Billionen, was die Obergrenze der Fähigkeiten von „kleinen“ deutlich verbessert. Modelle.

Es studiert sowohl Geisteswissenschaften als auch Naturwissenschaften und hat sich bei Fragen und Antworten um 18 % verbessert, die Wissenschaft hat sich um 149 % verbessert und die Mathematik hat sich um 198 % verbessert hat in- und ausländische Open-Source-Benchmarks wie Llama2 und Baichuan2 vollständig übertroffen.

Jetzt kann das Yuanxiang-Großmodell durch die Suche nach „XVERSE“ auf Github, Hugging Face, ModelScope und anderen Plattformen heruntergeladen werden. Nach einer einfachen Registrierung kann es für die bedingungslose kostenlose kommerzielle Nutzung genutzt werden kann kleine und mittlere Unternehmen und wissenschaftliche Forschungseinrichtungen sowie die meisten Anwendungs- und Iterationsanforderungen einzelner Entwickler erfüllen.

Yuanxiang bietet außerdem eine umfassende Palette technischer Dienstleistungen wie Modellschulung, Inferenz, Bereitstellung und Feinabstimmung, stärkt verschiedene Branchen wie Unterhaltung, Finanzen und medizinische Versorgung und hilft bei der Entwicklung branchenführender Dienste in verschiedenen Szenarien wie z wie intelligenter Kundenservice, kreatives Schreiben und genaue Empfehlungen.

Im Oktober 2023 übernahm Tencent Music die Führung bei der Ankündigung einer strategischen Zusammenarbeit mit Yuanxiang Model, brachte gemeinsam das beschleunigte Modell lyraXVERSE auf den Markt, rüstete seinen Musikassistenten „AI Xiaoqin“ umfassend auf und wird weiterhin modernste KI- und 3D-Technologien erforschen die Zukunft.

Das obige ist der detaillierte Inhalt vonDas größte Open-Source-Modell in China wird zur bedingungslosen kostenlosen kommerziellen Nutzung freigegeben! 65 Milliarden Parameter, Training basierend auf 2,6 Billionen Token. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!